Pruebas retrospectivas del rendimiento de NEXT

Backtest methodology

Más información sobre la metodología y los resultados del backtest (prueba de rendimiento) de nuestro servicio de previsión solar NEXT

La metodología de backtesting en 5 etapas

1) Datos de medición

La primera etapa consiste en reunir 2 años de datos históricos (2022-2023): Imágenes satelitales, modelos meteorológicos y datos in situ de las estaciones de la red científica BSRN (Baseline Surface Radiation Network). Calibsun eligió estas estaciones meteorológicas ya que ofrecen datos accesibles y de buena calidad que se utilizan como referencia en la investigación científica de todo el mundo.

Para llevar a cabo estas pruebas de rendimiento, Calibsun seleccionó 6 estaciones de medición de la BSRN situadas en diferentes climas:

• Tamanrasset y Gobabeb que se sitúan en un clima desértico. 
• Budapest y Cabauw que se sitúan en un clima templado. 
• La Reunión e Izana que se sitúan en climas insulares o de montaña.

Esta diversidad de climas nos permite probar la eficacia de nuestras previsiones en condiciones diversas y cambiantes, como se explica en nuestro artículo

"Incertidumbre de las previsiones en diferentes climas" en nuestra página de  Linkedin.

2. Control de calidad

Para ofrecer previsiones óptimas y eliminar posibles fuentes de incertidumbre derivadas de errores de medición, Calibsun lleva a cabo un control de calidad de los datos in situ. En beneficio de la reproducibilidad, este control se basa en gran parte en las recomendaciones de control de calidad publicadas en una guía de buenas prácticas elaborada por el grupo de expertos PVPS Task 16 de la AIE.

El objetivo de la comprobación de calidad es eliminar del historial de datos utilizado para el backtest cualquier medición detectada como errónea, alterada o sospechosa. Éstas podrían añadir una fuente de error no atribuible al propio método de previsión.

Descargue el documento para más información (Tarea 16 PVPS - página 127)

3. Backtest

Tras el control de calidad de los datos, se inician los backtests.  

1) El algoritmo de NEXT se entrena mediante aprendizaje automático (machine learning) sobre el año 2022 (el año anterior al año de previsión).  

2) Las soluciones NEXT Access y NEXT Advanced simulan previsiones para el año 2023, utilizando para cada simulación los últimos datos a los que habrían tenido acceso en condiciones operativas.

El modelo de previsión NEXT Access utiliza datos meteorológicos, datos de geometría solar e imágenes satelitales. El modelo NEXT Advanced utiliza, además de todos estos datos, mediciones in situ en tiempo real.

Estas simulaciones se realizan para previsiones intradiarias con una resolución de previsión de 15 minutos y un horizonte máximo de 6 horas, así como para previsiones del día siguiente con una resolución de una hora y un horizonte máximo de 48 horas.

3) Las previsiones obtenidas se comparan con las mediciones reales del año en cuestión (condiciones reales in situ) y se comparan con los dos modelos de referencia: GFS y persistencia inteligente. 

Los modelos meteorológicos GFS : Se trata de un modelo mundial de previsión meteorológica de alto rendimiento suministrado por la agencia meteorológica estadounidense. Proporciona previsiones para una serie de parámetros meteorológicos, incluida la irradiación recibida en el suelo, con cobertura mundial y actualizaciones frecuentes. 

La persistencia inteligente: consiste en mantener en el tiempo la nubosidad actual manteniendo constante el índice de nubosidad observado en la última medición in situ disponible.  
Fórmula: ∀𝑘∈[1, 𝑛], 𝐾_𝑐 (𝑡+𝑘∗𝑑𝑡)=𝐾_𝑐 (𝑡)

4. Indicadores clave de desempeño :  RMSE

El rendimiento de nuestros servicios NEXT Access y NEXT Advanced, así como del GFS y la persistencia inteligente, se mide en RMSE (Root-Mean-Square Error). Se trata de una medición utilizada habitualmente por los profesionales de la predicción meteorológica para comparar los errores de los modelos predictivos con la realidad. El RMSE evalúa la precisión de las previsiones comparando las condiciones meteorológicas previstas con las condiciones reales observadas. Da una idea clara de la diferencia que existe por término medio entre la previsión y la medición real observada posteriormente. Cuando

el RMSE es bajo, las previsiones se aproximan a la realidad, lo que indica un mejor rendimiento.

Se han calculado otros indicadores clave de desempeño, que están disponibles si se solicitan.

Comparación y resultados

Next advanced es siempre mejor que los modelos de referencia (smart persistence y GFS), cualquiera que sea el horizonte temporal y el tipo de clima. 

La precisión de las previsiones intradiarias aumenta considerablemente gracias a las mediciones in situ en tiempo real:

• En un clima continental, el uso de Next Advanced puede mejorar el RMSE hasta un +40% en comparación con los modelos de referencia.
• Hasta un +35% para un clima desértico.
• Hasta un +45% en climas de montaña e insulares.