百亿级数据查询秒级响应!京东云数坊是如何做到的?
每年的618、11.11是全球消费者的购物狂欢节,也是各路品牌商营销大促的盛会。然而近年来,随着市场环境变得复杂,品牌商之间竞争愈发激烈,要想在这场大促战役中“突出重围”,针对潜客进行精准投放和营销无疑是最有效的解题之道。 京东数坊正是为品牌商特意打造的一套精准营销工具,可以帮助商家实现消费者洞察,制定有效的营销策略,并对投放进行效果复盘。截至2021年2月底,已开通并积极使用京东数坊的品牌已超过3000家,覆盖家电、美妆、快消、手机、食品等各大行业的全球品牌。 高并发业务场景背后的技术挑战
由于之前数坊采用离线计算方式进行潜客圈选,在离线任务数量不多的时候,资源和实效性可以满足用户需求。然而在大促期间,圈选使用频次增加,受资源调度的影响,查询结果需要半小时才能显示。如遇到极端情况,甚至会导致系统无响应。如何让品牌商拥有顺畅无感知的服务体验,这对数坊的系统后台提出更高的要求,秒级响应、安全稳定则是关键。
数坊的业务系统具备节假日需求激增的特征,每年大促期间、节日期间,潜客圈选的需求往往会爆发式增长。具体来说,需要支撑3000家品牌频繁圈选需求,需要保证系统有足够的“弹性”来应对618、11.11大促前的流量峰值,保证业务服务不中断。
海量数据秒级响应法宝—京东云数据仓库JDW
为了更好的助力京东数坊服务品牌商,解决海量数据复杂处理的问题,让系统响应更迅速,结果更精确。京东云基于开源项目Greenplum构建了大规模并行处理(MPP)数据仓库JDW产品,可广泛应用在OLAP(联机分析处理)场景中海量数据的查询和处理。告别高延迟,百亿级数据查询都可秒级响应!
数据仓库JDW服务默认采用高可用架构,实现VPC部署,也提供高可靠的日志服务和自动扩容功能,让数坊可以随时根据业务需求在线扩容,满足业务的快速增长,提升业务数据分析效率。同时,数据仓库JDW兼容ANSISQL2003及PostgreSQL数据库生态,既提供高性能离线数据处理,也支持高并发在线分析。
在海量数据处理方面,数据仓库JDW采用bitmap位图数据结构,可实现海量数据存储、计算、查询性能优化。并在此基础上,京东云采用一种压缩率更高的稀疏位图--RoaringBitmap来进行数据存储,这种方式极大的减缓了每天数据量急剧增长的存储和计算压力,对数据的存储,处理,传输,读取性能都有大幅度提升。
在数据查询响应方面,数据采用分布式架构,通过bitmap插件实现实时的交并差计算,实现分钟级甚至秒级的分析,极大的提升了用户圈选潜客的效率。
在运维与服务方面,利用京东云便捷的运维安全管控能力,借助可视化丰富的监控指标和自动报警机制,极大降低了数坊在运维的压力,为数坊上的品牌商提供优质服务体验。
通过以上措施,京东云数据仓库JDW完美地解决了京东数坊数据处理量大、查询延时高的问题,让品牌商在秒级筛选出目标客户,帮助了品牌主快速开展营销活动,抢占先机,持续增长。
大规模、离在线并行处理业务场景的好帮手
京东云数据仓库JDW拥有丰富的生态建设,支持冷热数据分离,用户的热数据可以存在数据仓库JDW做分析和计算,冷数据通过京东云自研插件实时传输到云对象存储上。
京东云数据仓库JDW除了可以应用在精准营销领域,例如像商业选址分析、商圈运营分析、金融业务分析、游戏运营分析等大规模离线和在线并行处理的场景中,也可以广泛使用。 |
全部评论
最新文章
-
1腾讯云 | 《流浪地球2》的大场面,是怎么“渲”出来的?
-
2百度智能云 | 首个文心千帆大模型创新中心落户无锡!
-
3华为云推出首款全栈自主数据库GaussDB
-
4华为云首发面向消费终端的企业云原生白皮书,沉淀终端云实践经验
-
5全国一体化算力算网调度平台:天翼云、华为云、阿里云等已接入
-
6百度智能云文心一言-Turbo高性能模式开放邀测!
-
7阿里云 | 魔搭社区首届AI编程马拉松大赛,启动报名
-
8中国国际信息通信展览会~ 天翼云来啦!
-
9API全场景零码测试机器人,华为云发布ATGen in CodeArts TestPlan
-
10用友软件 1476 万元中标中国中化智慧人力一体化平台
热点排行
-
1文件存储 NAS 和 对象存储 OSS 的区别
-
2天翼云云电脑 | 让电视一秒变身电脑
-
3阿里工程师太凶残了,竟把服务器泡在“水里”!
-
4腾讯云 | 想在微信群里发起9人以上的语音聊天怎么办?
-
52020 年 Q1 中国云市场份额:阿里云第一、华为云跃居第二、腾讯云下降为第三
-
6数据仓库终结者:Dremio
-
72020年云服务器哪家强:阿里云、腾讯云、华为云、UCloud测评报告
-
8阿里云 web 应用防火墙(WAF)价格:179元/年
-
92020 Q1 中国公有云市场份额 TOP3:阿里云、腾讯云、华为云
-
10郑大一附院系统瘫痪 2 小时,运维人员被判 5 年半:破坏计算机信息系统罪
有话要说