大數據應用
方案概述
統一數據接入解決方案是一種分布式ETL解決方案,利用Hadoop平臺的數據處理能力,能夠有效的處理非結構化和半結構化的數據。并由用戶來指定數據屬性和預制的數據處理組件,靈活對各種類型的海量數據進處理。
功能特性
銀行接入數據繁多,由于歷史原因存在不同數據類型的情況,該方案主要通過可配置的原則實現海量數據進行實時數據接入。
方案價值
1)數據吞吐大:針對每天幾百G的海量數據,通過并行計算實現海量數據處理。
2)需求響應快:針對不同類型數據,可以配置不同作業進行快速處理。
3)業務影響小:Hadoop中的數據能夠均勻分配到MySQL等標準數據庫,外部應用影響小。