- CalibSun | 专业领域
数据质量检查 与数据完整性
为什么传感器质量检查很重要？
在光伏电站中，数据完整性直接影响着每一个下游流程：太阳能和电力预测、性能监测与资产管理，以及太阳能资源评估。 受污损、结霜或对准偏差影响的总辐射表读数不会产生明显的错误信号（传感器数据仍会持续传入，时间戳有效，数值看似合理）。如果没有结构化的质量检查流程，这些失真的测量数据就会悄无声息地传入机器学习算法和监控系统，从而降低数据质量并影响发电量估算。
CalibSun 的传感器专业技术旨在解决光伏电站全生命周期中的这一挑战：从投运时的历史数据验证，到对每条新接收的测量数据进行自动实时标记。这种数据管理方法确保了数据质量的可靠性，无论电站规模、天气条件或硬件配置如何，均可用于性能分析和发电量预测。
关键要素
- 总辐射表的对准偏差、污损和校准失准是运营中光伏电站数据质量问题的主要来源，其中没有任何一项会在时间序列中产生明显的断点。这种技术方法确保了传感器读数的准确性，并在整个运行期间保障了数据的完整性。
- CalibSun 采用两阶段质量检查流程： 在机器学习系统上线时对历史数据进行一次性质量控制，并对每条新接收的测量数据持续进行自动标记。
- 气象交叉验证，温度、湿度、风速，是检测无效数据和传感器异常的关键环节，特别是在恶劣的冬季天气条件下。
- 在公用事业规模的场址上，每5至10兆瓦需配备一台总辐射表，并均匀分布于太阳能电站的占地范围内，以分辨空间辐照度数据梯度。
- 数据质量直接影响绩效比的计算，卫星校准，以及基于历史数据训练的机器学习预测模型的可靠性。
什么是传感器质量检查？
在运行中的光伏电站中，总辐射表是入射太阳辐射（水平面上的总辐射GHI以及与光伏组件朝向一致的倾斜面上的总辐射GTI）的主要参考标准。 它为性能监测系统提供数据支持，为卫星校准提供实地实测辐照度数据，并作为光伏发电预测模型的主要数据采集来源。这一关键作用使得传感器读数和质量检查至关重要，以确保数据能够可靠地流向每个下游应用和技术平台。
总辐射表是在恶劣的户外环境中运行的高精度仪器。实际上，有三种主要的故障模式会影响传感器的性能和数据质量：
- 弄脏：灰尘、花粉或污染物会在传感器半球上积聚，从而逐渐削弱测得的太阳辐照度，但不会产生明显的突变。
- 失准：传感器灵敏度会随时间推移而漂移，从而引入系统性偏差，若没有参考仪器或交叉验证，则难以检测到这种偏差。
- 对齐错误： 由于安装不当或物理损坏，传感器不再位于其标称平面上，这会直接导致 GHI 或 GTI 测量读数出现偏差。
这些故障模式均不显而易见，也不会导致数据缺失。如果没有数据质量控制，预测模型、卫星校准流程和监测系统都会将错误的传感器数据视为有效数据——这会直接影响性能估算和能源产出计算。
这就是“垃圾进，垃圾出”（garbage in, garbage out）的含义：预测的质量取决于输入数据的质量。我们的质量控制模型与 Mines Paris – PSL 联合开发，在接入阶段筛查全部历史数据档案，随后对每一条实时数据进行核验。
除了辐照度传感器外，气象传感器（用于测量环境温度、风速和相对湿度）也需要进行数据验证和质量保证。这些测量传感器和环境条件数据用于对辐照度数据进行交叉验证、识别传感器异常情况，并优化光伏发电模型。 通过对传感器精度和环境条件进行严格的测试、评估和目视检查，运维人员可确保传感器在整个运行期间的性能始终可靠。
- 质量检查步骤
数据质量控制标准：如何检测无效数据
物理一致性：极罕见限值（ERL）
数据质量验证的第一层是对辐照度数据时间序列进行物理一致性检查。CalibSun 采用“极端罕见极限”方法（Long & Dutton, 2002），该方法基于天文约束条件定义了数据边界。
在此阶段，会标记两类物理无效数据：
- GHI值超过地外辐照度： 大气层上方接收到的太阳辐射量定义了一个绝对的物理上限。任何超过该阈值的测量值在物理上都是不可能的，并将被无条件标记。
- 白天时段的负辐照度值： 虽然夜间可能会因传感器噪声而出现微小的负值，但在日照时段出现的负值则表明存在硬件故障或数据处理异常。
这些ERL检查构成了任何严谨的数据质量流程的基础层，能够筛除那些无法通过任何统计方法或上下文分析进行修复的值。
气象交叉验证
第二层 质量保证利用了太阳辐射强度与同期气象变量之间的物理关系。 与观测到的天气状况不符的测量结果，是传感器出现问题的有力迹象。
在运营方面影响最大的情况是冬季条件。 当环境温度降至0°C以下且相对湿度超过90%时，未加热、未通风的总辐射表会受到霜和冻雾的影响。其影响是系统性的：
- 传感器罩在夜间结霜，导致清晨时段的辐照度数据失效。
- 当温度升至0–2°C以上时，传感器会逐渐除霜，但穹顶上的水滴可能会暂时起到透镜的作用，导致测得的辐照度数值超过实际入射太阳能资源。
- 在确认完全除霜之前，来自非加热传感器的所有测量值都必须标记为无效数据。
带加热和通风功能的总辐射表正是专门为防止这种失效模式而设计的。在实地应用中，这一区别对数据质量产生了可测量的影响：在CalibSun于法国阿登地区一处光伏电站开展的冬季观测活动中，带加热和通风功能的参考总辐射表仅有6.6%的数据点被排除，而同期未加热的传感器则有44.7%的数据点被标记为异常，这完全是由于霜冻、冻雾和冷凝效应所致。
该现场测试结果说明了，在冬季寒冷潮湿的气候条件下，加热通风式总辐射表为何是任何太阳能项目中参考传感器的正确选择。
传感器间空间一致性
在配备多台总辐射表的站点，可通过空间交叉验证进一步评估数据质量。 当同一座太阳能电站中位于不同位置的两个传感器显示出持续的偏差，且该偏差与预期的空间辐照度梯度不符时，数据集会将此标记为潜在的传感器异常，需要进行调查。
这种方法还能检测到局部遮挡现象——即仅影响电站某一部分而未影响另一部分的情况；而单传感器监测系统要么会忽略这种情况，要么会将其误判为整体辐照度的下降。
方向与水平度验证
无论是因为安装不当还是机械漂移，总辐射表的定位偏差都会直接导致总日照量（GHI）和总太阳辐射量（GTI）的测量结果出现偏差。 CalibSun 通过将测得的辐照度数据与无云日理论上的晴空辐照度曲线进行对比，来验证传感器的安装方向。在晴空条件下，安装方向正确且处于水平位置的总辐射表必须能够以高精度跟踪预期晴空辐照度曲线，无论是在幅值还是时间变化趋势方面。
任何系统性偏差、持续偏移、上午与下午读数之间的不对称，或峰值出现时间早于或晚于理论最大值，均表明存在方位问题，需要现场校正。该验证步骤是每次传感器审核的组成部分，并在所有服务开始时执行：包括卫星校准活动期间，以及预测算法实施时。 如果质量检查发现现场某台传感器存在问题，我们的专家团队可直接向操作人员提供建议 以帮助他们解决问题并提高预测准确性。
该独立基准测试正是针对这一问题：现场实测数据能否提升预测精度。
历史和实时质量检查
历史数据质量控制
当 CalibSun 接入一座新的太阳能光伏电站时，第一步是 对全部可用的历史数据档案进行系统性的数据质量控制。该过程通常涵盖来自以下来源的一至数年的时间序列数据： SCADA系统、总辐射表和气象传感器.
目标是生成一个干净且经过验证的数据集，该数据集可作为机器学习预测模型的训练基础。每个被标记或缺失的数据点均已记录在案. 缺失值不会被随意填补：历史数据中的缺口要么被明确标注，要么在缺口持续时间及上下文条件允许的情况下，采用物理上合理的方法进行重建。
这款产品的质量 初始数据处理步骤对预测精度具有直接且持久的影响：在受污染或存在偏差的历史数据上训练的模型，会将系统性误差编码其中，这些误差将在其整个运行周期内持续存在。准确的 数据收集和严格的数据验证因此在此阶段绝非可有可无，它们是后续每项预测的性能和可靠性的基础。
自动化实时数据质量控制
一旦太阳能电站进入CalibSun的预测流程并投入运行，传感器数据将通过API以最高可用分辨率持续采集，最佳采集间隔为1分钟，实际运行中则根据SCADA配置的不同，采集间隔为5至15分钟。
每条新接收的测量数据在用于预测过程之前，都会经过自动质量检查流程。该流程依次执行以下步骤：
- ERL 物理一致性检查，物理过滤 无效数据 无条件地。
- 气象交叉验证，针对标记与同期数据不一致的读数的最佳实践 温度、湿度、风 参数.
- 传感器间一致性检查，并在可能的情况下，比较分布式总辐射表的同步读数。
- 晴空包络验证，检测超过理论最大值的数值 太阳辐照度 针对当前的太阳几何位置和大气条件。
当某项测量结果被标记时，系统不会直接将其丢弃。 标记逻辑会记录原因、发生时间以及相关的气象背景。 这种结构化的数据管理方法能够对传感器随时间变化的行为进行回顾性分析，支持维护计划的制定，并为质量阈值的校准提供反馈。
质量控制还有时间维度。预测必须基于可用的最新数据：卫星图像约有十分钟的处理延迟，系统持续核验每次预测计算使用的都是最新的有效测量数据，而非过期数据。
当传感器在定义的时间窗口内产生异常数量的标记值时，系统会触发警报，从而在硬件故障完全导致数据集受损之前提供早期预警信号。
传感器质量检查 及其对预测性能的影响
传感器层面的数据质量问题会对预测过程的每一层产生连锁反应。
因此，严格的传感器质量检查并非一项独立的工程任务。 它在结构上与预测准确度、卫星校准质量、性能监测可靠性以及能源交易风险敞口紧密结合。
卫星校准
CalibSun利用当地的地面实测辐照度数据对卫星衍生的辐照度产品进行校准。如果参考总辐射表存在系统偏差，卫星校准会吸收该偏差，从而降低整个电站覆盖区域内校正后辐照度场的空间代表性。
模型训练
如果机器学习模型是在包含未被发现的数据质量问题的历史数据上训练的，这些错误会被模型编码为信号。由此生成的模型在面对干净的输入数据时，泛化能力会很差，产生的预测准确率会下降，性能指标也会变差。
实时重新校准
CalibSun 的 NEXT 算法会利用最新的本地传感器数据进行持续重新校准。如果传入的测量数据存在错误且未被质量检查发现，重新校准步骤将使模型朝错误的方向调整，从而暂时增加预测误差，而非减少误差。
性能比与资产管理
性能监测由您自己的工具完成，同样依赖无偏差的辐照度数据来计算可靠的性能比。存在偏差的辐照度输入会导致性能比值出现偏差，从而掩盖实际的性能退化或触发误报，这两者都会对资产管理产生直接影响。
- 问题
关于传感器质量检查的常见问题
一个公用事业规模的太阳能电站需要安装多少个总辐射表？
对于小型 光伏电站，通常一个高质量的总辐射表就足够了。对于 公用事业规模 的电站，云层会以不同的速度掠过 电站 的覆盖区域，从而形成空间 辐照度 梯度，这是单个传感器无法分辨的。CalibSun建议每5至10兆瓦配置一台总辐射表，并将其均匀分布在场地各处，以实现空间分辨的 辐照度数据 分析 且坚固 数据质量 交叉验证。这种标准设计遵循了以下建议： 国际能源署光伏计划（IEA PVPS）的第16项任务 (《太阳能应用中太阳能资源数据的采集与使用最佳实践手册：第四版》/ 马纳吉特·森古普塔、阿隆·哈布特、斯特凡·威尔伯特、克里斯蒂安·盖马尔德，扬·雷蒙德、埃尔克·洛伦茨、维尔弗里德·范·萨克和亚当·R·詹森，10.69766/ENEH5295 978-3-907281-66-6 ) 确保整个供应链中产品的质量和测量精度。
当传感器数据被标记或缺失时会发生什么？
当传感器数据被标记为无效或暂时不可用时，预测系统将仅依靠卫星数据和数值天气预报（NWP）输入继续运行。在此期间，预测精度会有所下降，但服务不会中断。一旦有效测量数据恢复，模型将自动重新校准。 持续缺失数据或较高的标记率会触发警报，提示进行现场调查——这使您能够在潜在的传感器问题扩散到预测数据集之前，及时识别并诊断这些问题。
传感器数据质量如何影响性能比？
性能比的计算方法是将实际能量输出除以基于测量辐照度数据得出的预期能量输出。如果总辐射表存在系统偏差——无论是由于污垢、校准失准还是对准错误——则预期能量输出的参考值就是不正确的。 这会导致性能比出现偏差，从而要么掩盖实际性能退化，要么产生误报——这两者都会对资产管理和运维产生直接影响。
数据质量问题能否自动检测出来？
是的。CalibSun 的自动化质量检查流程会对每条新接收的测量数据实时进行物理一致性检查、气象交叉验证、传感器间空间一致性分析以及晴空包络线验证。 当某个传感器在预定义的时间窗口内产生异常比例的标记值时，系统会触发警报，以便在问题扩散到预测数据集之前进行现场调查。
