上云无忧 > 找云产品 > 【阿里云】数据集成
【阿里云】数据集成
数据集成(Data Integration)是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台,为400对数据源提供不同网络环境下的全量/增量数据进出通道。
*此产品及展示信息均由阿里云官方提供。 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云!微信咨询
  免费试用、价格特惠

注册资本:100000万元人民币

成立时间:2008-04-08


阿里云档案>>

数据集成(Data Integration)是阿里集团对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台,为400对数据源提供不同网络环境下的全量/增量数据进出通道。


20+种异构数据源
支持关系型数据库、大数据存储、非结构化存储、NoSql数据库之间的数据同步

支持经典/专有等网络环境
支持跨经典网络、专有vpc网络的数据同步以及本地IDC的数据同步

同步任务调度和监控报警
数据集成将会监控同步任务运行的状况并对异常进行报警

支持多种同步方式
通过where条件设定时间变量参数配合调度来实现增量数据同步


精心打造的功能

支持多种异构数据源
数据集成支持20+种异构数据源之间的相互数据同步,通过数据源的Reader、Writer插件,无需用户实现复杂的编程

Reader&Writer插件
主要通过定义数据来源和去向的数据源和数据集,提供一套抽象化的数据抽取插件(称之为 Reader)、数据写入插件(称之为 Writer),并基于此框架设计一套简化版的中间数据传输格式,从而达到任意结构化、半结构化数据源之间数据传输之目的

抽取、转换、导入
数据集成支持在数据抽取过程中进行简单的数据转换操作(如日期解析、数据过滤等),导入到大数据处理中心,利用大数据引擎强大的计算能力可以再进行更复杂的数据转换操作

跨公网传输
支持阿里云经典网络、专有网络(VPC)环境下的数据同步以及本地IDC网络环境下的数据集成


支持多种同步方式

数据集成支持数据的批量(离线)同步,和增量同步

批量(离线)同步
批量同步主要应用场景为阿里云大数据计算存储(包括 MaxCompute、AnalyticDB 、HDFS等)提供离线(批量)的数据进出通道

增量同步
数据集成的增量同步主要是指通过where条件过滤业务日期,将不同业务日期的数据同步到对应的MaxCompute分区表中。用户可以通过设置同步周期为1小时一次或10分钟同步一次来实现近实时的增量同步


调度&监控告警
数据集成与大数据开发套件深度集成,完全复用开发套件的调度能力和同步任务运维能力

定时任务调度
数据集成支持多时间维度(天、小时、分钟)的离线任务定时调度,只需要简单几步便可完成数据增量抽取

任务出错报警
当任务出现错误的时候,数据集成支持通过预定义的方式告知用户任务失败。用户可以按照自己定义的规则来配置告警规则

整库迁移
整库迁移是数据集提供的一种批量创建同步任务的快捷工具,可以快速完成把一个Mysql DB 库内所有表一并上传到 MaxCompute 中,节省大量初始化批量任务创建时间


数据集成客户实战场景


PING++


云数据库同步
Ping++的数据源主要来源于支付业务系统,DRDS和RDS主要用来存储用户交易信息,MongoDB主要用来存储商品维度信息;围绕这些积累下来的海量的交易数据,需要基于数加平台进行业务场景创新。

能够解决

数据批量同步
轻松实现积累的交易数据批量同步到大数据中心

定时增量同步
每日产生的交易数据可通过定时调度定时触发同步

出错告警易运维
当任务出现错误的时候,数据集成支持通过预定义的方式告知用户



协鑫


数据回流分析
智能制造的兴起,将大数据分析引入到制造革命中。通过对生产数据的采集并上传云端,可以对数据进行实时和长期分析,分析生成流程中可优化的部分

能够解决

日志数据同步
可以对协鑫光伏生产过程中采集到的全部日志数据同步到云端

异构数据源同步
数据集成提供四通八达的数据传输交互服务,可实现异构数据源之间的同步

任务按顺序执行
可将同步任务作为工作流一环,实现按顺序调度



墨迹天气


日志数据同步
墨迹天气运营团队每天处理分析庞大的天气查询以及广告业务日志,以分析用户行为和挖掘用户个性化需求, 亟需将数据集中到MaxCompute进行大数据分析,同时对数据传输集中工具也提出了更高的要求

能够解决
本地IDC数据同步
可使用插件进行日志采集,并同步归档到MaxCompute

数据回流
在MaxCompute分析完成的数据结果,可通过数据集成回流到业务库进行报表展现

传输速率
数据集成具有高效的调用方式、强劲的传输速度以及强大的吞吐能力



网聚宝


异构数据源同步
网聚宝的数据来源非常广泛,包括三大类数据源:第三方自有的平台、公共的电商平台、公开的信息平台, 如何通过数据采集服务分别将这些数据采集到数据中心是重点需要关注的问题

能够解决
消除数据孤岛
帮助企业将不同数据源的数据快速集中到数据中心

脏数据容错
可通过同步机制,在出现脏数据时做记录,但同步任务不会出错

定时任务调度
支持多时间维度的离线任务定时调度,只需要简单几步便可完成数据



美甲帮


精细化运营
美甲帮的主营业务在商城方面,截至目前已经拥有百万级别的用户,积累了大量的用户数据,如何更好的服务用户并提升客户体验是美甲帮进行大数据探索的出发点

客户价值
提升业务洞察能力
通过MaxCompute计算能力实现了针对百万用户的精细化运营

业务数据化
对业务数据分析能力提升并有效监控,更好的业务赋能

快速响应业务需求
数加生态满足新业务数据分析需求的“随机应变”能力




培训与认证


大数据Workshop

使用数据集成过程中如何将日志数据采集至MaxCompute中,并进行加工得到用户画像


数据同步简介

数据集成主要解决异构数据源之间的跨网络数据同步问题


ACP专业认证

阿里云大数据专业认证是面向使用阿里云大数据产品的架构、开发、运维类人员的专业技术认证

相似产品
  • 想买: 1256人 简介: 数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布 (Publish)和订阅 (Subscribe)的功能,让您可以轻松构建基于流式数据的分析和应用。
  • 想买: 810人 简介: 翼MapReduce(翼MR)是一种基于云计算平台的即开即用、稳定可靠、弹性伸缩、便捷管理的数据处理分析服务。 MRS打造了高可靠、高安全、易使用的运行维护平台,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。用户可以独立申请和使用托管Hadoop、Spark、HBase和Hive组件,用于快速在主机上创建集群,提供实时性要求不高的海量数据的批量存储和计算能力。
  • 想买: 5550人 简介: 天翼云诸葛AI平台-大数据平台服务提供用户可按需灵活扩容的企业级大数据集群和数据全生命周期一站式开发运营服务。底层大数据底座运行于Hadoop、Hive、HBase、Spark、Kafka等大数据组件,在底座之上,提供数据集成、数据开发、数据治理、数据报表、Web大屏开发等功能。帮助企业快速开发基于大数据分析建模能力的业务系和统构建数据运营能力。
  • 想买: 402人 简介: 旅游大数据平台是通过中国电信自有数据和外部数据融合,实现对一定区域范围内的游客进行客流量、来源地、属性特征、消费能力、出行方式、停留时长、APP使用行为等分析,并可以实现隔夜游游客住宿分布、实时客流分布、客流量预测等分析。 通过大数据分析报告、API、SaaS等方式为旅游主管部门、景区、旅游公司等提供服务,在智慧监管、智慧服务、智慧营销等领域有重要的应用价值。
  • 想买: 1044人 简介: 交通大数据可用于支撑全国各城市人口基础性特征分析,并广泛应用于交通规划、高速公路路况监测、枢纽(机场、火车站等)客流分析等需求明确的领域。且用户覆盖各个地域、年龄段、职业、收入,能够作为大样本反映全量用户的分布和出行特征,为政府机关、咨询机构、相关企业提供精准调研及整体解决方案。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部