中華電信 大數據解析系統
描述
我們為中華電信建置了一個數據平台，可以快速大量的解析基地台訊號資料。中華電信維運處的同仁，需要即時維護三萬個基地台設備，藉此確保手機訊號良好。三萬個基地台每天會產生 30 億筆（100 GB） 的資料，這些資料需要經過解析（parsing），才可以進行分析與監控。
挑戰
- 需要有足夠多的運算能力，可以在 4 小時內解析完 30 億筆的數據。
- 需要支援跨廠牌、跨型號、跨世代的機器設備所產生的資料規格。
- 需要與客戶內部既有的資訊系統、作業流程與硬體設備相容。
技術
- 資料解析：基地台 XML 資料格式
- 平行運算：我們設計的軟體架構，可以方便客戶部署在多台機器，平行運算。
- 資料視覺化：系統狀態監控儀表板
