华为云 OBSA-HDFS 组件正式进入 Hadoop 社区
|
近日，华为云OBS对象存储服务OBSA-HDFS组件代码完成了开源社区同行评审，已经正式合入Apache Hadoop社区，标志华为云存算分离大数据方案正式获得社区认可，客户可以通过社区获取最新的OBSA-HDFS组件版本，快速在华为云完成大数据平台的部署和使用。 OBSA-HDFS组件全称为HuaweiCloud OBS Adapter for Hadoop Support，利用OBSA-HDFS，客户可以在华为云上快速部署存算分离的Hadoop大数据平台，无需修改代码即可完成Spark、MapReduce、Hive、HBase等组件与华为云OBS对象存储服务的对接，并获得高性能的HDFS存储。 当然，除了客户端组件外，华为云OBS在服务端的Data Multi-Protocol功能为达成存算分离提供了技术保证。传统的对象存储服务不支持原生的文件协议，导致大数据场景下的rename需要通过拷贝和删除两个操作组合来完成，更无法对文件目录进行修改，而拷贝操作会消耗宝贵的IO资源且时延较高。 华为云OBS的Data Multi-Protocol支持POSIX文件语义，通过对元数据结构和操作的双重优化，可快速完成文件的rename。经过测试，在大数据场景下，对100MB文件进行rename操作，华为云OBS比传统对象存储性能提升10倍以上。 凭借着数量级的性能提升，华为云BigData Pro存算分离大数据解决方案使用OBS替代Hadoop的本地HDFS存储，让计算资源和存储资源完全解耦，独立扩容，让大数据分析的性价比平均提升35%以上。更可以构建云上统一数据湖，消除数据孤岛、降低数据共享难度、减少数据冗余、提升数据使用效率。 当前，华为云BigData Pro解决方案已经服务于斗鱼、美图、蘑菇街、货拉拉和长虹等行业知名客户。 未来，我们也将为Hadoop在公有云场景下的效率提升而持续努力。 Hadoop是Apache基金会的顶级项目，也是业界领先且使用最广泛的分布式系统框架，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。 HDFS是Hadoop实现的分布式文件系统（Hadoop Distributed File System），为海量数据提供高吞吐量、高扩展、高可靠和高容错性的存储。 从2006年成立以来，Hadoop改变了企业对数据的存储、处理和分析的过程，形成了一个极其丰富的技术生态圈。 |
全部评论
暂无评论
最新文章
-
1企业上云误区 | 价格最优？
-
2武汉人工智能计算中心启动建设：相当于 50 万台电脑算力
-
3Gartner 2021：腾讯云 AI “执行能力”第一
-
4CVE-2021-26855/26857/26858/27065：Microsoft Exchange 多个高危漏洞
-
5阿里云数据安全多项能力入选 Gartner 报告
-
6阿里云助力大理国际大酒店智慧化、数字化升级
-
7华为云“微光训练营”向你发起初春邀请
-
8百度云 | “全VR”极客大会来了！DEF CON CHINA 3月20日举行
-
9微软中国区换帅！80 后侯阳接替柯睿杰出任董事长兼 CEO
-
10七牛云票证识别 OCR：纸质资料高效数字化的解决之道
热点排行
-
1阿里工程师太凶残了，竟把服务器泡在“水里”！
-
2腾讯云 | 想在微信群里发起9人以上的语音聊天怎么办？
-
32020 年 Q1 中国云市场份额：阿里云第一、华为云跃居第二、腾讯云下降为第三
-
4郑大一附院系统瘫痪 2 小时，运维人员被判 5 年半：破坏计算机信息系统罪
-
52020年云服务器哪家强：阿里云、腾讯云、华为云、UCloud测评报告
-
62020 Q1 中国公有云市场份额 TOP3：阿里云、腾讯云、华为云
-
7数据仓库终结者：Dremio
-
8IDC 报告：电信天翼云排名 2019 年中国公有云市场前三，市场份额持续提升
-
9IDC 发布 2019 年下半年《中国数据备份与恢复系统市场季度跟踪报告》
-
10IDC 发布 2019 年 Q4 《全球以太网交换机和路由器季度跟踪报告》：华为营收增长 8.9%
有话要说