大數據存儲計算平臺架構
WeShare-Hadoop提供分布式緩存層,數據可以通過消息中間件和分布式緩存(Redis)將數據緩存起來;提供分布式存儲層,支持文件式存儲、關系型數據存儲、非關系型數據存儲,滿足復雜的數據存儲場景;提供分布式計算層, 支持離線計算、實時計算、內存計算、離線分析、交互式查詢,滿足各種計算場景,并且提供ES全局搜索功能;提供業務處理層,完成數據的統計與分析,支持人工智能算法庫,實現數據挖掘,支持平臺日志審計;最上層是平臺的應用功能層,實現基礎的平臺功能。
針對大容量靜態數據集,提供分布式存儲、列存儲引擎,提供分布式計算、并行計算能力,靈活應對海量數據集的離線分析;平臺支持TB級、PB級離線數據處理
提供流數據的實時計算能力,將結果可及時投遞到在線系統,毫秒級低延遲,實現實時數據流的快速處理和反饋
提供交互式SQL查詢,千萬級數據查詢秒級響應,給數據分析人員提供快速實驗、驗證想法的大數據分析能力
提供全局的ES搜索功能,支持實時全文檢索,支持多值索引模糊搜索,搜索接口秒級響應,滿足企業數據查詢、文件檢索等多種需求
控制臺可提供可視化管理界面,提供全面的資源管理能力;支持大規模集群的多維監控、統一告警、性能調優、安全防護
平臺具備穩定的擴展能力,保障當前任務正常運行,實現零感知服務器、節點擴容