资讯首页 新闻资讯 云计算测评 云服务商动态 技术频道
上云无忧 > 云计算资讯  > 技术频道 > 新版本新能力,华为云 OceanBase 为何要打造实时分析数据库

新版本新能力,华为云 OceanBase 为何要打造实时分析数据库

发布时间: 2024-04-23 08:57:13 |浏览量:342| 评论: 0

数据就是生产力,对企业来说挖掘数据价值不是选择题,而是必答题。数据利用分析能力是当代企业必备的核心能力之一,企业的运营、决策、创新和市场拓展都离不开数据的支持。但对企业来说数据量越来越大,如何高效存储分析数据,如何释放数据价值成为新的挑战。

数据价值突显,如何高效释放数据价值成为企业新挑战

对于企业来说数据不仅可以直接转化为生产力,现在也是切切实实的财务资产。根据财政部发布的《企业数据资源相关会计处理暂行规定》,从2024年1月1日起,数据资源确认为企业资产负债表中的“资产”一项,即在财务报表中体现数据资源的真实价值与业务贡献。

如何让数据资产升值,如何高效释放数据资产价值,是每家企业的必答题。和采矿业的挖机、存储、提炼、消费使用类似,数据宝矿的挖掘可以分为采集整合、存储与管理、分析与挖掘、可喜欢展现。

第一是数据的采集整合,需要通过各种数据源采集数据,这些数据往往来自不同的系统,使用不同的格式,需要进行整合和清洗,以便分析和利用。在这一过程中,需要使用关系型数据库来存储和管理结构化数据。

第二是数据的存储管理,整合后的数据需要存储,以便随时调用和分析。除了关系型数据库外,还会使用分布式数据库。对于非结构化数据,如图像、音频、视频等,需要使用非关系型数据库。

第三是数据的分析挖掘,通过对数据的深入分析,为决策提供支持。在这一阶段,数据分析工具和数据挖掘算法至关重要。同时,列式存储数据库由于其在处理大规模数据分析查询时的出色性能,也被用于此阶段。

第四是数据的可视化呈现,将分析结果以直观的方式呈现出来,有助于企业更好地理解数据并做出决策。这需要使用到数据可视化工具。

随着数据量迅猛增加,在以上四步中数据的分析挖掘挑战最大,其次是需要使用多种数据库产品,数据库的管理难度很大。数据分析挖掘目前最主流的技术是列式数据库,数据库管理的趋势是使用一体化数据库。

列式数据库的优点包括:

压缩效率高:由于同一列通常包含大量重复值或相似值,因此列存可以更好地利用数据的重复性,从而实现更好的压缩效率,减少存储空间的使用。

查询性能优化:对于只需要部分列的查询,列存可以只读取所需的列数据,而不需要读取整行数据。这可以减少 I/O 操作次数,提高查询性能。

聚合操作高效:由于列存将相同列的数据存储在一起,因此对于聚合操作(例如 SUM、AVG)等,列存可以更有效地执行,而不需要扫描整行数据。

列存索引优化:列存可以根据列数据的特点设计索引结构,从而提高索引的效率,加速数据的查询和检索。

4月20日,在第二届OceanBase开发者大会上,OceanBase发布4.3版本,推出全新列式存储引擎,打造PB级实时分析数据库,可实现秒级实时分析,进一步加强TP/AP一体化。

(OceanBase CTO 杨传辉 现场发布新版本)

我们来看看OceanBase新版本的新功能列式存储引擎有哪些特色,在一体化数据库战略方面有哪些动作。

OceanBase新版本新能力,助力企业更高效释放数据价值

OceanBase 新版本主打的新功能是列式存储引擎,OceanBase列式存储引擎性能如何?令笔者印象深刻的是OceanBase不玩虚的,直接现场跑分和ClickHouse进行性能对比。

跑分结果是OceanBase 4.3版本和ClickHouse 23.11性能不相上下,OceanBase 内测版本比ClickHouse 24.4 性能略好。可见在同等硬件条件下,OceanBase 4.3在大宽表场景OLAP查询性能上与业内一流列存大宽表数据库达到了同一水平。

笔者认为,OceanBase增加列式数据库能力,反映了OceanBase三点能力:

第一是了解用户场景,能够快速响应市场需求。随着大数据时代的到来,企业数据量大种类多变的日益复杂。传统的关系数据库在处理大规模、高维度的数据时,会遇到性能瓶颈。而列式数据库在处理这类数据时具有天然的优势,能够提供更高效的数据分析和查询能力。OceanBase及时推出列式存储引擎说明了解用户场景,有能力快速响应市场需求。

第二是技术创新能力。数据库技术的发展日新月异,为了保持竞争优势,需要不断创新和升级产品。能够推出列式存储引擎,背后的原因是因为OceanBase是根自研,对数据库技术理解深吃得透,才能跟进市场需要做出技术创新。

第三是解决复杂问题能力。在实时分析场景中,实时数仓是一种比较常见的解决方案,但也存在使用、管理更为复杂的短板。OB在TP、HTAP的基础上,通过列式数据库加强AP能力,给出了另一种解法。背后是OceanBase把复杂留给了自己,把简单易用留给了用户。从中也可以一窥OceanBase解决复杂数据库问题的能力,也能看到OceanBase在数据库解决方案方面深厚的功力。

具备列式存储引擎能力以后,OceanBase想像空间更大。AP结合已有的TP性能,OB可被应用于复杂分析、实时报表、实时数仓等更多场景,服务更多场景客户,获得更好发展。在4月20日的开发者大会活动现场,OceanBase提到了一体化产品战略。

我们来看看OceanBase一体化产品战略具体是什么?

数据库产品中的苹果,OceanBase押注一体化产品战略

提到一体化产品,很多人第一个想到的是苹果产品,苹果通过软硬件一体,更好地控制产品质量和用户体验,形成了一体化的闭环,为用户提供了无缝的体验。

什么是OceanBase一体化产品战略?OceanBase CTO 杨传辉介绍,OceanBase将持续践行“关键业务负载”的一体化战略,今年将重点打造PB级实时分析数据库的最强六边形战士,持续提高TP性能、分布式、兼容性、AP存储、AP计算、AP工具生态能力。未来,PB以下企业在AP应用场景中,无论是HTAP、还是OLAP,都可选择使用OceanBase。

笔者的理解,一体化产品战略是从用户出发的战略,对用户来说有三点好长。

第一是简化场景,让用户可以专注业务。数据库的选型、使用、维护都很复杂。对于用户来说,不同场景要使用关系数据库、非关系数据库、缓存数据库等。业务规模小的时候是单机数据库,业务规模大的时候要考虑分布式数据库。不同的数据库还需要专业人员维护。

针对这些问题,OceanBase已实现单机分布式一体化、TP/AP一体化、云上云下一体化、多模一体化等。就是业务规模小的时候使用单价,业务规模大了可以无缝切换到分布式。现在可以使用OceanBase Cloud,需要的时候可以随时切换到线下自建的OceanBase分布式集群。

简单说,对于用户来说,OceanBase可以简化大部分常见的数据库场景问题,让用户可以更专注业务。

第二是优化成本。OceanBase的理念是通过一体化产品,追求分布式架构下的极致性能与最佳成本。根据国际咨询机构Forrester《OceanBase总体经济影响报告》的数据显示,采用OceanBase后,企业数据存储空间节约70%、服务器资源节约85%、平均每注册用户数据库成本节约50%,且呈现逐渐成本节约递增的趋势,越用越便宜。

第三是易用性。在易用性上OceanBase也下了很大功夫,比如在安装部署、性能测试、文档方面都有具体的措施。

在数据库的性能诊断方面,OceanBase仅仅是在性能诊断指标的分析方面,就专门有一个团队花了一年时间来跟进优化。可见OceanBase决心之大。

一款产品的发展离不开生态。目前,OceanBase Landscape技术生态已扩展至超750个主流产品,覆盖基础设施、数据集成、数据治理、应用集成等多个领域。在OceanBase的开源社区,目前已有118位开发者开通博客,累计有1000多篇技术文章分享,核心仓库拥有300多位外部贡献者,共建代码量超5万行。

笔者认为,当前国内数据库产品发展如火如荼,然而经过大浪淘沙阶段,未来必然只有少数产品才能生存。而只有那些关注用户需求,坚持打磨技术的数据库,才有更多的胜算。

更多【技术频道】相关文章

有话要说

全部评论

暂无评论
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部