數據湖作為大數據和人工智能技術基礎架構發展的趨勢,不僅提供了數據的存儲能力,同時也為上層的數據處理提供了統一的數據管理引擎。
濟南戴爾存儲代理商介紹數據湖的主要特點有:
? 第 一:存儲原始數據,這些原始數據來源非常豐富;
? 第二:支持多種計算模型;
? 第三:有完善的數據管理能力,要能做到多種數據源接入,實現不同數據之間的連接,支持Schema管理和權限管理等;
? 第四:靈活的底層存儲,一般用s3、hdfs這種分布式文件系統,采用特定的文件格式和緩存,滿足對應場景的數據分析需求。
技術上,數據湖不僅包括Hadoop,還包括其他傳統和新興大數據技術。下圖所示的是典型數據湖結構:在一個數據湖解決方案中,用戶通過諸如Apache Flink等平臺,通過自帶的數據定義或者第三方框架的數據定義,對存儲在存儲層的數據進行管理,包括查詢和修改等。