新版本新能力，华为云 OceanBase 为何要打造实时分析数据库
|
数据就是生产力，对企业来说挖掘数据价值不是选择题，而是必答题。数据利用分析能力是当代企业必备的核心能力之一，企业的运营、决策、创新和市场拓展都离不开数据的支持。但对企业来说数据量越来越大，如何高效存储分析数据，如何释放数据价值成为新的挑战。 数据价值突显，如何高效释放数据价值成为企业新挑战 对于企业来说数据不仅可以直接转化为生产力，现在也是切切实实的财务资产。根据财政部发布的《企业数据资源相关会计处理暂行规定》，从2024年1月1日起，数据资源确认为企业资产负债表中的“资产”一项，即在财务报表中体现数据资源的真实价值与业务贡献。 如何让数据资产升值，如何高效释放数据资产价值，是每家企业的必答题。和采矿业的挖机、存储、提炼、消费使用类似，数据宝矿的挖掘可以分为采集整合、存储与管理、分析与挖掘、可喜欢展现。 第一是数据的采集整合，需要通过各种数据源采集数据，这些数据往往来自不同的系统，使用不同的格式，需要进行整合和清洗，以便分析和利用。在这一过程中，需要使用关系型数据库来存储和管理结构化数据。 第二是数据的存储管理，整合后的数据需要存储，以便随时调用和分析。除了关系型数据库外，还会使用分布式数据库。对于非结构化数据，如图像、音频、视频等，需要使用非关系型数据库。 第三是数据的分析挖掘，通过对数据的深入分析，为决策提供支持。在这一阶段，数据分析工具和数据挖掘算法至关重要。同时，列式存储数据库由于其在处理大规模数据分析查询时的出色性能，也被用于此阶段。 第四是数据的可视化呈现，将分析结果以直观的方式呈现出来，有助于企业更好地理解数据并做出决策。这需要使用到数据可视化工具。 随着数据量迅猛增加，在以上四步中数据的分析挖掘挑战最大，其次是需要使用多种数据库产品，数据库的管理难度很大。数据分析挖掘目前最主流的技术是列式数据库，数据库管理的趋势是使用一体化数据库。 列式数据库的优点包括： 压缩效率高：由于同一列通常包含大量重复值或相似值，因此列存可以更好地利用数据的重复性，从而实现更好的压缩效率，减少存储空间的使用。 查询性能优化：对于只需要部分列的查询，列存可以只读取所需的列数据，而不需要读取整行数据。这可以减少 I/O 操作次数，提高查询性能。 聚合操作高效：由于列存将相同列的数据存储在一起，因此对于聚合操作（例如 SUM、AVG）等，列存可以更有效地执行，而不需要扫描整行数据。 列存索引优化：列存可以根据列数据的特点设计索引结构，从而提高索引的效率，加速数据的查询和检索。 4月20日，在第二届OceanBase开发者大会上，OceanBase发布4.3版本，推出全新列式存储引擎，打造PB级实时分析数据库，可实现秒级实时分析，进一步加强TP/AP一体化。 （OceanBase CTO 杨传辉 现场发布新版本） 我们来看看OceanBase新版本的新功能列式存储引擎有哪些特色，在一体化数据库战略方面有哪些动作。 OceanBase新版本新能力，助力企业更高效释放数据价值 OceanBase 新版本主打的新功能是列式存储引擎，OceanBase列式存储引擎性能如何？令笔者印象深刻的是OceanBase不玩虚的，直接现场跑分和ClickHouse进行性能对比。 跑分结果是OceanBase 4.3版本和ClickHouse 23.11性能不相上下，OceanBase 内测版本比ClickHouse 24.4 性能略好。可见在同等硬件条件下，OceanBase 4.3在大宽表场景OLAP查询性能上与业内一流列存大宽表数据库达到了同一水平。 笔者认为，OceanBase增加列式数据库能力，反映了OceanBase三点能力： 第一是了解用户场景，能够快速响应市场需求。随着大数据时代的到来，企业数据量大种类多变的日益复杂。传统的关系数据库在处理大规模、高维度的数据时，会遇到性能瓶颈。而列式数据库在处理这类数据时具有天然的优势，能够提供更高效的数据分析和查询能力。OceanBase及时推出列式存储引擎说明了解用户场景，有能力快速响应市场需求。 第二是技术创新能力。数据库技术的发展日新月异，为了保持竞争优势，需要不断创新和升级产品。能够推出列式存储引擎，背后的原因是因为OceanBase是根自研，对数据库技术理解深吃得透，才能跟进市场需要做出技术创新。 第三是解决复杂问题能力。在实时分析场景中，实时数仓是一种比较常见的解决方案，但也存在使用、管理更为复杂的短板。OB在TP、HTAP的基础上，通过列式数据库加强AP能力，给出了另一种解法。背后是OceanBase把复杂留给了自己，把简单易用留给了用户。从中也可以一窥OceanBase解决复杂数据库问题的能力，也能看到OceanBase在数据库解决方案方面深厚的功力。 具备列式存储引擎能力以后，OceanBase想像空间更大。AP结合已有的TP性能，OB可被应用于复杂分析、实时报表、实时数仓等更多场景，服务更多场景客户，获得更好发展。在4月20日的开发者大会活动现场，OceanBase提到了一体化产品战略。 我们来看看OceanBase一体化产品战略具体是什么？ 数据库产品中的苹果，OceanBase押注一体化产品战略 提到一体化产品，很多人第一个想到的是苹果产品，苹果通过软硬件一体，更好地控制产品质量和用户体验，形成了一体化的闭环，为用户提供了无缝的体验。 什么是OceanBase一体化产品战略？OceanBase CTO 杨传辉介绍，OceanBase将持续践行“关键业务负载”的一体化战略，今年将重点打造PB级实时分析数据库的最强六边形战士，持续提高TP性能、分布式、兼容性、AP存储、AP计算、AP工具生态能力。未来，PB以下企业在AP应用场景中，无论是HTAP、还是OLAP，都可选择使用OceanBase。 笔者的理解，一体化产品战略是从用户出发的战略，对用户来说有三点好长。 第一是简化场景，让用户可以专注业务。数据库的选型、使用、维护都很复杂。对于用户来说，不同场景要使用关系数据库、非关系数据库、缓存数据库等。业务规模小的时候是单机数据库，业务规模大的时候要考虑分布式数据库。不同的数据库还需要专业人员维护。 针对这些问题，OceanBase已实现单机分布式一体化、TP/AP一体化、云上云下一体化、多模一体化等。就是业务规模小的时候使用单价，业务规模大了可以无缝切换到分布式。现在可以使用OceanBase Cloud，需要的时候可以随时切换到线下自建的OceanBase分布式集群。 简单说，对于用户来说，OceanBase可以简化大部分常见的数据库场景问题，让用户可以更专注业务。 第二是优化成本。OceanBase的理念是通过一体化产品，追求分布式架构下的极致性能与最佳成本。根据国际咨询机构Forrester《OceanBase总体经济影响报告》的数据显示，采用OceanBase后，企业数据存储空间节约70%、服务器资源节约85%、平均每注册用户数据库成本节约50%，且呈现逐渐成本节约递增的趋势，越用越便宜。 第三是易用性。在易用性上OceanBase也下了很大功夫，比如在安装部署、性能测试、文档方面都有具体的措施。 在数据库的性能诊断方面，OceanBase仅仅是在性能诊断指标的分析方面，就专门有一个团队花了一年时间来跟进优化。可见OceanBase决心之大。 一款产品的发展离不开生态。目前，OceanBase Landscape技术生态已扩展至超750个主流产品，覆盖基础设施、数据集成、数据治理、应用集成等多个领域。在OceanBase的开源社区，目前已有118位开发者开通博客,累计有1000多篇技术文章分享，核心仓库拥有300多位外部贡献者，共建代码量超5万行。 笔者认为，当前国内数据库产品发展如火如荼，然而经过大浪淘沙阶段，未来必然只有少数产品才能生存。而只有那些关注用户需求，坚持打磨技术的数据库，才有更多的胜算。 |
全部评论
暂无评论
最新文章
热点排行
-
1文件存储 NAS 和 对象存储 OSS 的区别
-
2天翼云云电脑 | 让电视一秒变身电脑
-
3阿里工程师太凶残了，竟把服务器泡在“水里”！
-
4腾讯云 | 想在微信群里发起9人以上的语音聊天怎么办？
-
5数据仓库终结者：Dremio
-
62020年云服务器哪家强：阿里云、腾讯云、华为云、UCloud测评报告
-
72020 年 Q1 中国云市场份额：阿里云第一、华为云跃居第二、腾讯云下降为第三
-
8阿里云 web 应用防火墙(WAF)价格：179元/年
-
92020 Q1 中国公有云市场份额 TOP3：阿里云、腾讯云、华为云
-
10郑大一附院系统瘫痪 2 小时，运维人员被判 5 年半：破坏计算机信息系统罪
有话要说