资讯首页 新闻资讯 云计算测评 云服务商动态 技术频道
上云无忧 > 云计算资讯  > 新闻资讯 > 百亿级数据查询秒级响应!京东云数坊是如何做到的?

百亿级数据查询秒级响应!京东云数坊是如何做到的?

发布时间: 2021-07-20 12:27:25 |浏览量:435| 评论: 0

每年的618、11.11是全球消费者的购物狂欢节,也是各路品牌商营销大促的盛会。然而近年来,随着市场环境变得复杂,品牌商之间竞争愈发激烈,要想在这场大促战役中“突出重围”,针对潜客进行精准投放和营销无疑是最有效的解题之道。
京东数坊正是为品牌商特意打造的一套精准营销工具,可以帮助商家实现消费者洞察,制定有效的营销策略,并对投放进行效果复盘。截至2021年2月底,已开通并积极使用京东数坊的品牌已超过3000家,覆盖家电、美妆、快消、手机、食品等各大行业的全球品牌。

高并发业务场景背后的技术挑战


在京东618、京东11.11活动期间,京东数坊需要支持超过3000家品牌商同时在线圈选潜客,极大的数据量对数据的存储,处理,传输,读取的性能都是一个严峻挑战。

由于之前数坊采用离线计算方式进行潜客圈选,在离线任务数量不多的时候,资源和实效性可以满足用户需求。然而在大促期间,圈选使用频次增加,受资源调度的影响,查询结果需要半小时才能显示。如遇到极端情况,甚至会导致系统无响应。如何让品牌商拥有顺畅无感知的服务体验,这对数坊的系统后台提出更高的要求,秒级响应、安全稳定则是关键。


数坊的业务系统具备节假日需求激增的特征,每年大促期间、节日期间,潜客圈选的需求往往会爆发式增长。具体来说,需要支撑3000家品牌频繁圈选需求,需要保证系统有足够的“弹性”来应对618、11.11大促前的流量峰值,保证业务服务不中断。


海量数据秒级响应法宝—京东云数据仓库JDW


为了更好的助力京东数坊服务品牌商,解决海量数据复杂处理的问题,让系统响应更迅速,结果更精确。京东云基于开源项目Greenplum构建了大规模并行处理(MPP)数据仓库JDW产品,可广泛应用在OLAP(联机分析处理)场景中海量数据的查询和处理。告别高延迟,百亿级数据查询都可秒级响应!


数据仓库JDW服务默认采用高可用架构,实现VPC部署,也提供高可靠的日志服务和自动扩容功能,让数坊可以随时根据业务需求在线扩容,满足业务的快速增长,提升业务数据分析效率。同时,数据仓库JDW兼容ANSISQL2003及PostgreSQL数据库生态,既提供高性能离线数据处理,也支持高并发在线分析。


在海量数据处理方面,数据仓库JDW采用bitmap位图数据结构,可实现海量数据存储、计算、查询性能优化。并在此基础上,京东云采用一种压缩率更高的稀疏位图--RoaringBitmap来进行数据存储,这种方式极大的减缓了每天数据量急剧增长的存储和计算压力,对数据的存储,处理,传输,读取性能都有大幅度提升。


在数据查询响应方面,数据采用分布式架构,通过bitmap插件实现实时的交并差计算,实现分钟级甚至秒级的分析,极大的提升了用户圈选潜客的效率。


在运维与服务方面,利用京东云便捷的运维安全管控能力,借助可视化丰富的监控指标和自动报警机制,极大降低了数坊在运维的压力,为数坊上的品牌商提供优质服务体验。


通过以上措施,京东云数据仓库JDW完美地解决了京东数坊数据处理量大、查询延时高的问题,让品牌商在秒级筛选出目标客户,帮助了品牌主快速开展营销活动,抢占先机,持续增长。


大规模、离在线并行处理业务场景的好帮手


京东云数据仓库JDW拥有丰富的生态建设,支持冷热数据分离,用户的热数据可以存在数据仓库JDW做分析和计算,冷数据通过京东云自研插件实时传输到云对象存储上。


京东云数据仓库JDW除了可以应用在精准营销领域,例如像商业选址分析、商圈运营分析、金融业务分析、游戏运营分析等大规模离线和在线并行处理的场景中,也可以广泛使用。

更多【新闻资讯】相关文章

有话要说

全部评论

暂无评论
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部