解決方案 > 智慧政府 >
數據匯流平臺
數據匯流平臺
建置氣象巨量資料整合服務平臺，提供單一入口整合多元氣象資訊，實現資料開放與共享。平臺具備高效穩定的儲存架構與品管檢核機制，可即時匯入各類氣象數據，並依據資料類型進行處理與管理，強化資訊交換與系統整合，提升氣象資料於監測、預報、統計及決策分析之應用效益，落實資料驅動治理目標。
主要功能
資料蒐集
多源自動擷取即時資料
資料儲存架構
彈性擴充儲存與快取設計
檢核品管
多層檢核保障資料品質
資料監控
即時監控掌握資料狀態
特色介紹
氣象巨量資料平臺
氣候資料管理平臺
西北太平洋海象資料庫
資料人工品管系統
空軍氣象資料數據庫
應用情境
介紹
為推動資料驅動治理並實現資料開放共享，本團隊建置氣象巨量資料整合服務平臺，整合多元氣象資訊、共用管理機制與共通資料服務。平臺提供單一服務入口與最新且多樣的資訊服務內容，提升整體系統互通性。透過有效資訊交換機制，使氣象資料在各業務系統間流通順暢，有助於支援決策分析與跨部門資料應用，全面強化氣象資料的價值與可用性。
核心解決方案
面對氣象資料結構多樣且處理需求各異的挑戰，平臺設計導入高效穩定的儲存架構與模組化處理機制，能即時匯入各式資料並執行自動品管與格式統一。資料可應用於監測、預報、統計等多元情境，並透過網頁查詢介面、API服務支援多種查詢與存取需求。平臺亦整合國內外氣候監測與預報資料，提供資料轉檔、視覺化圖表顯示觀測與預報資料、海象資料，輔助使用者進行資料品質檢視與註記修正。同時支援品管報表、統計分析作業與XML標準格式產品產製與傳送服務，實現氣象資料之高效應用與標準化管理。
預期效益
- 提升整合與決策效率
提供單一入口整合多元氣象資料，支援快速查詢與決策。 - 強化資料品質與標準化
實施品管與格式轉換，提升資料正確性與一致性。 - 促進資料共享與應用
提供API與下載介面，推動資料開放與創新應用。
IISI優勢
一、資料蒐集能力
- 多源異質資料整合能力
具備整合國內外海、氣象觀測資料（如自動氣象站、海象浮標、雷達、衛星、全球/區域數值預報模式等）之經驗，能同步處理結構化與非結構化資料。 - 支援多通訊協定與自動化抓取
平臺可支援SFTP、HTTPS等多種通訊協定，定期或即時蒐集來源資料，並具備例外重試機制。 - 彈性擴充的資料蒐集模組架構
蒐集模組以模組化設計，能快速支援新增資料源，降低日後維運成本。
二、資料儲存與系統架構
- 混合式資料庫架構（RDB + NoSQL + Cache）
依據資料性質（觀測時序、空間圖資、非結構文字）分別採用Percona XtraDB Cluster/ HBase/ Redis等技術，提升存取效能與資料完整性。 - 容器化與微服務部署設計
整體系統採容器化（如Podman）部署，搭配微服務架構，實現高可用性與彈性擴充之資料處理平臺。 - 支援高併發與時序資料處理
適用於高頻率氣象觀測資料與數值模式格點資料儲存與查詢，可應對百萬筆等級資料即時處理需求。
三、檢核與品質控管機制
- 內建資料校驗與清洗機制
於資料匯入流程即進行異常值判別、缺值補齊、單位轉換等基本QC處理。 - 符合氣象作業標準之品質控管邏輯
針對氣象資料進行檢核（例如：跨站比對、逐時平滑範圍、連續性檢查等等），使資料符合氣象作業流程、監測之需求。 - 完整資料處理履歷追蹤（Data Lineage）
所有資料處理過程具備時間戳記與版本記錄，利於資料溯源與驗證。
四、資料格式轉換支援
- 支援多種標準氣象資料格式
包含GRIB2、NetCDF、BUFR、CSV、JSON、GeoJSON、Shapefile等常見格式，並可自定轉換邏輯。 - 自動化格式轉換流程建置
資料蒐集後可自動轉換為客戶所需格式（如內部格式、分析模型輸入格式、API 輸出格式），提升資料使用效率。 - 跨平臺交換與輸出能力
支援資料以檔案方式（批次）或介面方式（API）傳遞給第三方系統或使用者，實現資料互通。
五、資料監控與異常告警
- 即時資料監測儀表板
提供視覺化資料流狀態面板，可檢視每筆資料進入之狀態、延遲工作之處理、資料蒐集成功率等指標。 - 異常資料告警與回報機制
蒐集延遲、缺值異常、重複資料等情況皆可即時觸發警報，並自動記錄錯誤內容供追蹤。 - 整合通知系統與操作介面
可將資料異常情形透過 Email、平臺簡訊等方式通知維護人員，即時處置。
代表客戶
- 交通部中央氣象署
- 中華民國空軍
