Backtest : la performance de NEXT

Méthodologie des tests de performance

Calibsun vous propose de découvrir la méthodologie et les résultats des backtests pour les service de prévision NEXT Access et NEXT Advanced.

La méthodologie en 5 étapes

1) La collecte de l'historique des données 

La première étape consiste à récolter 2 années d’historique de données (2022-2023) : images satellites, modèles météorologiques et des données sur site issus des stations du réseau scientifique BSRN (Baseline Surface Radiation Network). Calibsun a choisi ces stations météo car elles fournissent des données accessibles d’une grande qualité et largement utilisées comme référence dans la littérature scientifique pour le monde entier.

Pour la réalisation de ces tests de performance, Calibsun a sélectionné 6 stations de mesures BSRN situées dans différents climats :

• Tamanrasset et Gobabeb se situent au sein d’un climat désertique
• Budapest et Cabauw sont soumis à un climat continental
• La Réunion et Izana correspondent à des climats insulaires ou montagneux

Cette variété de climats permet de tester l’efficacité de nos prévisions dans des conditions très différentes et changeantes, notamment expliquées dans notre article « L’incertitude de la prévision selon les différents climats » à retrouver sur notre page LinkedIn. 

Découvrir l’article >

2. Contrôle qualité

Pour fournir des prévisions optimales et évacuer les sources d’incertitude issues des erreurs de mesures, Calibsun effectue un contrôle de qualité des données in-situ (quality check). Dans un souci de reproductibilité, ce contrôle est en grande partie basé sur les recommandations en termes de Quality Check publiés dans un guide des bonnes pratiques rédigé par le groupe d’experts de la Task 16 de l’IEA PVPS.

Le contrôle qualité a pour but de supprimer de l’historique des données utilisé pour le backtest toute mesure détectée comme erronée, altérée ou suspecte. En effet, ces dernières pourraient ajouter une source d’erreur non imputable à la méthode de prévision en elle-même.

Téléchargez le rapport pour plus d’information (Task 16 PVPS - page 127) : https://iea-pvps.org/wp-content/uploads/2024/05/PVPS_Annual_R...

3. Backtest

A la suite du contrôle qualité des données, les backtests sont lancés.

1) L’algorithme de NEXT s’entraine par apprentissage automatique (machine learning) sur l’année 2022 (année qui précède l’année de prévision).  

2) Les solutions NEXT Access et NEXT Advanced simulent les prévisions sur l’année 2023 en utilisant pour chaque simulation les dernières données auxquelles elles auraient eu accès en condition opérationnelle.

Le modèle de prévision NEXT Access utilise les données météorologiques, les données de géométrie solaire et les images satellites. Le modèle Next Advanced utilise, en plus de toutes ces données, des mesures sur site en temps réel

Ces simulations sont effectuées pour de l’intra-day avec une résolution de prévision de 15 minutes et un horizon maximum de 6 heures ainsi qu’en day-ahead avec une résolution d’une heure et un horizon maximum de 48 heures.

3) Les prévisions obtenues sont comparées avec les véritables mesures de l’année concernée (conditions réelles sur site) et comparées aux deux modèles de référence :  GFS et smart persistance.

• Les modèles météorologiques GFS : C’est un modèle de prévision météorologique global et performant fournit par l’agence météorologique américaine. Il fournit des prévisions pour un ensemble de paramètres météorologiques, dont l’irradiation reçue au sol, sur une couverture mondiale et avec des mises à jour fréquentes.
• La smart persistance : consiste à maintenir la couverture nuageuse actuelle dans le temps en maintenant constant l’indice d’ennuagement observé au présent dans la dernière mesure sur site disponible 
  Formule : ∀𝑘∈[1, 𝑛],  𝐾_𝑐 (𝑡+𝑘∗𝑑𝑡)=𝐾_𝑐 (𝑡)

4. Indicateurs clés de performance : RMSE

La performance de nos services NEXT Access et NEXT Advanced ainsi que les prévisions GFS et la smart persistance sont mesurées en RMSE (Root-Mean-Square Error). C’est une mesure communément utilisée par les professionnels de la prévision météorologique pour comparer les erreurs des modèles prédictifs par rapport à la réalité. La RMSE évalue la précision des prévisions en comparant les conditions météorologiques prévues aux conditions réelles observées. Elle donne une idée claire de l'écart moyen entre la prévision et la mesure réelle observée à posteriori. Lorsque la RMSE est faible, les prévisions sont proches de la réalité, indiquant ainsi de meilleures performances.

Pour la réalisation de vos Backtests, d’autres indicateurs clés de performance ont été calculés et sont disponibles sur demande.

Résultats

MEILLEURE RMSE AVEC NEXT ADVANCED 

NEXT Advanced est toujours meilleur que les modèles de référence (smart persistance et GFS) quelques soit l’horizon de temps et le type de climat.

La précision des prévisions intrajournalières est largement améliorée par les mesures sur site en temps réel. 

NEXT Advanced vs. GFS (% d'amélioration du RMSE) : 

• Au sein d’un climat continental, l’utilisation de NEXT Advanced permet d’améliorer la RMSE jusqu’à 40% par rapport aux modèles de référence
• Jusqu’à 35% pour un climat désertique.
• Jusqu’à 45% pour climat montagneux et insulaire.