腾讯云数据湖构建(Data Lake Formation,DLF)提供了数据湖的快速构建,与湖上元数据管理服务,帮助用户快速高效的构建企业数据湖技术架构,包括统一元数据管理、多源数据入湖、任务编排、权限管理等数据湖构建工具。借助数据湖构建,用户可以极大的提高数据入湖准备的效率,方便的管理散落各处的孤岛数据。
统一元数据
集中管理数据湖中位于各数据源或者存储中的元数据,支持自动化发现元数据信息。用户可以管理分散在各处的异构数据,打破数据孤岛,并使用其它服务分析这些数据,而无需额外的移动数据。
快速构建
支持云上多种数据设施和数据渠道,用户可以进行简单必要的配置,即可将数据快速入湖,构建数据湖架构。用户也可以对湖上的数据进行格式转换和清洗,以满足各种数据使用场景的需求。
安全可靠
数据湖构建提供企业级的数据权限管理,支持对数据库、数据表、字段的权限访问设置。基于腾讯云成熟的 VPC 网络、计算资源隔离等技术,保证租户间网络隔离、资源隔离。基于腾讯云安全加固,和完善的监控等云端服务体系,帮助提供安全和高可用的服务。
极致弹性
数据湖构建提供开仓即用的云原生托管服务,用户仅为使用时涉及到的资源付费,包括元数据信息,数据入湖使用到的资源,用户无需关注服务器运维管理的细节,只需要进行简单的配置,系统提供自动伸缩和动态扩容的能力。
开放服务
数据湖构建兼容 Hive Metastore,支持多种接口,可以简单无缝与腾讯云数据湖计算 DLC、弹性 MapReduce 等产品集成,轻松满足多种场景下的数据解决方案。
高效性能
支持高性能湖数据格式和湖加速能力,赋予了对数据进行行级更新的能力,和高效的查询性能,在不同的场景下查询效率可提升数倍到数十倍。
数据湖构建的特性
统一元数据
集中管理数据湖中位于各数据源或者存储中的元数据,支持自动化发现元数据信息。用户可以管理分散在各处的异构数据,打破数据孤岛,并使用其它服务分析这些数据,而无需额外的移动数据。
快速构建
支持云上多种数据设施和数据渠道,用户可以进行简单必要的配置,即可将数据快速入湖,构建数据湖架构。用户也可以对湖上的数据进行格式转换和清洗,以满足各种数据使用场景的需求。
安全可靠
数据湖构建提供企业级的数据权限管理,支持对数据库、数据表、字段的权限访问设置。基于腾讯云成熟的 VPC 网络、计算资源隔离等技术,保证租户间网络隔离、资源隔离。基于腾讯云安全加固,和完善的监控等云端服务体系,帮助提供安全和高可用的服务。
极致弹性
数据湖构建提供开仓即用的云原生托管服务,用户仅为使用时涉及到的资源付费,包括元数据信息,数据入湖使用到的资源,用户无需关注服务器运维管理的细节,只需要进行简单的配置,系统提供自动伸缩和动态扩容的能力。
开放服务
数据湖构建兼容 Hive Metastore,支持多种接口,可以简单无缝与腾讯云数据湖计算 DLC、弹性 MapReduce 等产品集成,轻松满足多种场景下的数据解决方案。
高效性能
支持高性能湖数据格式和湖加速能力,赋予了对数据进行行级更新的能力,和高效的查询性能,在不同的场景下查询效率可提升数倍到数十倍。
应用场景
构建数据湖
用户可以使用数据湖构建提供的多个入湖模版,简单方便的从各个数据设施和数据渠道,将数据入湖,并建立元数据管理体系,配置企业级权限。用户可以使用其他产品服务,访问数据湖中已构建好的数据,满足多种场景的数据使用需求。

联合查询分析
数据湖构建支持发现和统一管理分散在各处的异构数据源,包括对象存储、云数据库、大数据服务、流数据等,并建立企业级权限管理,通过与数据湖计算 DLC、弹性 MapReduce 等分析计算产品无缝对接,进行联合查询分析,而无需在数据孤岛之间移动数据。
