湖仓一体

1、基本介绍

湖仓一体（Data Lakehouse）是当前大数据领域热度最高的词汇，这一概念于2020年首次提出，是数据湖和数据仓库合而为一的新词汇。

业界普遍认为，湖仓一体将成为数据库行业的未来趋势。

大数据的处理过程是一个提升数据结构化程度和信息密度的过程，不同的数据适合的存储方式也有所不同。诞生于1990年的「数据仓库」适合存储结构化、信息密度高、经过处理后的数据，它的优势是存储规范，易于快速读取，弊端是灵活性不足；诞生于2011年的「数据湖」可以低成本存储任何形式及格式的原始数据，但它的弊端是缺乏结构性，一旦没有被治理好，就会变成数据沼泽。

而「湖仓一体」是一种将数据湖的灵活性和数仓的易用性、规范性、高性能结合起来的新型融合架构，类似于在湖边搭建了很多小仓库，有的负责数据分析，有的运转机器学习，有的来检索音视频等，数据源流都可以从数据湖里轻松获取。

2、湖仓一体的特性

（1）事务支持：在企业中，数据往往要为业务系统提供并发的读取和写入。对事务的ACID支持，可确保数据并发访问的一致性、正确性，尤其是在SQL的访问模式下。

（2）数据的模型化和数据治理：湖仓一体可以支持各类数据模型的实现和转变，支持DW模式架构，例如星型模型、雪花模型等。该系统应当保证数据完整性，并且具有健全的治理和审计机制。

（3）BI支持：湖仓一体支持直接在源数据上使用BI工具，这样可以加快分析效率，降低数据延时。另外相比于在数据湖和数据仓库中分别操作两个副本的方式，更具成本优势。

存算分离：存算分离的架构，也使得系统能够扩展到更大规模的并发能力和数据容量。（一些新型的数据仓库已经采用了这种架构）

（4）开放性：采用开放、标准化的存储格式（例如Parquet等），提供丰富的API支持，因此，各种工具和引擎（包括机器学习和Python / R库）可以高效地对数据进行直接访问。

支持多种数据类型（结构化、半结构化、非结构化）：湖仓一体可为许多应用程序提供数据的入库、转换、分析和访问。数据类型包括图像、视频、音频、半结构化数据和文本等。

（5）支持各种工作负载：支持包括数据科学、机器学习、SQL查询、分析等多种负载类型。这些工作负载可能需要多种工具来支持，但它们都由同一个数据库来支撑。

（6）端到端流：实时报表已经成为企业中的常态化需求，实现了对流的支持后，不再像以往一样，为实时数据服务构建专用的系统。

3、市场现状

现阶段，国内外各大云厂商均推出了“湖仓一体”技术方案，有云计算的老牌龙头，也有数据智能领域的新势力。其中，以滴普科技为代表的新势力跑在了浪潮前头。

滴普科技的核心产品——实时湖仓平台FastData，全面整合了从数据源到数据分析以及数据价值实现的完整链路，帮助企业建立统一治理、流批一体、湖仓一体的云原生数据智能平台，成为支撑企业数字化转型的核心基础设施软件。