文档中心

天翼云诸葛AI平台-大数据平台包含底层的大数据能力平台和上层的一站式数据开发套件为平台用户提供一套从数据采集、数据开发与调度、数据仓库创建、数据展示与输出的大数据开发解决方案。

大数据能力

Hdfs分布式文件存储，Hbase分布式列式存储，Hive数据仓库，Spark Streaming流式处理引擎，Spark、MapReduce离线处理引擎，SQL查询引擎 ，Kafka分布式数据总线，Flume数据抽取工具，支持Kerberos证书权限管理。

一站式数据开发

• 支持在线编写Spark Scala脚本，Pyspark、HiveQL、Spark SQL，Python，Shell等等大数据作业程序，一键提交到大数据集群执行，且支持UDF函数、资源管控。
  
  
• 支持拖拽式DAG工作流编排，页面展示调度情况。支持定时调度、即时调度、事件依赖调度，支持实时管控每个系统和用户的资源使用情况，限制系统和用户的资源使用量和并发数，并提供实时的资源动态图表。
  
  

数据报表（BI）

• 支持配置数据源连接数据仓库表，图表组件配置数据源。
  
  
• 图表组件包括：柱形图、折线图等常规图表，地图、文字、表格以及交互装饰等。
  
  
• 一键发布到Web服务。
  
  

Web大屏开发

• 支持连接多种数据源，如：数仓、ES、MySQL、API、CSV等。
  
  
• 组合Web展示组件，将不同数据组合成完整的业务大屏。Web组件包括：地图组件、统计图组件、多媒体和交互组件等60种以上组件。
  
  
• 预置业务场景展示模板，按行业需求 快速生成专业系统展示大屏。可提供商业、金融、交通、政务、移动APP等行业的16个大屏模板。
  
  
• 一键将页面发布到Web应用。
  
  

数据质量校验工具

• 支持采集数据质量校验、校验报告、校验任务调度管理。
  
  
• 预定义17中校验规则，支持用户自定义规则，支持单表，跨表的数据校验规则。
  
  
• 日志管理方便排查数据质量问题，支持异常数据提取和存储。
  
  

数据治理工具

• 解决Hadoop数据仓库元数据治理问题，提数据血缘、数据安全和生命周期管理在内的元数据治理核心能力。
  
  
• 元数据导入，自动捕获数据集和底层元素之间的关系，快速查找数据血缘关系。
  
  
• 数据集血缘关系的可视化浏览。
  
  

数据集成工具

• 数据库增量抽取工具。
  
  
• 离线文件传输工具。
  
  
• 实时采集数据工具。