01双源异构数据模拟采集02自动化 ETL 数据清洗机制03多源数据时空统一对齐（核心技术）04双数据交叉校验互补融合05标准化数据统一输出回传
01
数据源采集区
双源异构数据模拟采集
物联网环境传感器
高频 · 秒级
采样频率
1 次/秒
数据格式
JSON 流
累计采集
23 条
时间戳原始记录
固定环境检测站点
低频 · 定时
采样频率
1 次/15 分钟
数据格式
CSV 记录
累计采集
0 条
时间戳原始记录
异构差异
采集频率相差约 900 倍字段命名与单位口径不一致数据结构与时间精度不同
02
ETL 数据清洗区
自动化 ETL 数据清洗机制
01等待
异常跳变剔除
识别并剔除传感器异常跳变极值，保留合理波动区间
0%剔除 0 条
处理前10:21:09.000 pm25 = 486.4 μg/m³
处理后—
02等待
缺失值智能补全
按时序插值补全缺失数据点，保持序列连续可用
0%补全 0 条
处理前10:21:06.000 pm10 = null
处理后—
03等待
重复采集去重
按时间戳与设备指纹识别重复上报，仅保留首条记录
0%去重 0 条
处理前10:21:07.000 pm25 = 38.4 ×2
处理后—
有效记录900 900 条100.0%清洗前后有效记录占比
03
时空对齐处理区
多源数据时空统一对齐（核心技术）
CORE本模块为平台核心创新技术点统一精度 10s
统一时间维度
时间戳精度统一为 10 秒，消除两路数据的时钟与采样粒度差异
传感器原始 · 1 秒站点原始 · 15 分钟对齐时间点 90
统一指标口径
指标名称、单位与数据口径映射为服务端标准字段
| 传感器字段 | 站点字段 | 统一字段 | 单位 |
|---|---|---|---|
| pm25 | PM2_5 | PM2.5 | μg/m³ |
| pm10 | PM10_STD | PM10 | μg/m³ |
| co2 | CO2_STD | CO₂ | ppm |
| temp | TEMP_C | 温度 | ℃ |
对齐时间点 90统一精度 10s
04
双源异构数据融合区
双数据交叉校验互补融合
| 指标 | 传感器 | 站点 | 偏差 | 权重 | 融合值 |
|---|---|---|---|---|---|
| PM2.5μg/m³ | — | — | — | — | — |
| PM10μg/m³ | — | — | — | — | — |
| CO₂ppm | — | — | — | — | — |
| TEMP℃ | — | — | — | — | — |
交叉校验0 / 4
高频实时流低频基准流交叉校验
融合收益
补齐高频数据的观测缺口抑制单源异常对结果的影响提升整体监测数据完整性提升整体监测数据准确率
综合准确率
—%
05
数据回传结果区
标准化数据统一输出回传
标准化数据输出
等待输出…
回传目标
平台 GIS 监测界面等待输出
指标仪表盘等待输出
趋势图表等待输出
输出为标准化数据示例，用于演示融合数据回传至监测界面的链路。