【天翼云】天翼云诸葛AI平台

天翼云诸葛AI平台-大数据平台服务提供用户可按需灵活扩容的企业级大数据集群和数据全生命周期一站式开发运营服务。底层大数据底座运行于Hadoop、Hive、HBase、Spark、Kafka等大数据组件，在底座之上，提供数据集成、数据开发、数据治理、数据报表、Web大屏开发等功能。帮助企业快速开发基于大数据分析建模能力的业务系和统构建数据运营能力。

产品优势
可靠丨安全可靠
大数据集群5000+规模，全年稳定性达99.95%，在中国电信生产环境得到验证

自主丨技术自主掌控
基于开源社区活跃的Apache Hadoop 3.2为核心，自主研发整合大数据计算组件构建的大数据能力平台，大数据平台无技术绑定风险，无协议风险，支持滚动升级

易用丨使用技术门槛低
提供Web图形化界面大数据开发环境、工作流编排、任务调度。元数据管理和数据血缘自动提取和查询、数据报表和Web大屏开发工具套件

全面丨功能全面
提供数据分布式文件存储、数据仓库、流式/离线计算引擎、SQL查询引擎、消息总线等大数据基础能力，在线数据开发IDE，数据报表，Web展示大屏开发，数据质量校验，数据治理等应用组件，帮助您的企业构建符合完整性、一致性、正确性、安全性的大数据体系

产品功能
大数据能力
Hdfs分布式文件存储，Hbase分布式列式存储，Hive数据仓库，Spark Streaming流式处理引擎，Spark、MapReduce离线处理引擎，SQL查询引擎 ，Kafka分布式数据总线，Flume数据抽取工具，支持Kerberos证书权限管理

一站式数据开发
支持在线编写Spark Scala脚本，Pyspark、HiveQL、Spark SQL，Python，Shell等等大数据作业程序，一键提交到大数据集群执行，且支持UDF函数、资源管控
支持拖拽式DAG工作流编排，页面展示调度情况。支持定时调度、即时调度、事件依赖调度
支持实时管控每个系统和用户的资源使用情况，限制系统和用户的资源使用量和并发数，并提供实时的资源动态图表

数据报表（BI）
支持配置数据源连接数据仓库表，图表组件配置数据源
图表组件包括：柱形图、折线图等常规图表，地图、文字、表格以及交互装饰等
一键发布到Web服务

Web大屏开发
支持连接多种数据源，如：数仓、ES、MySQL、API、CSV等
组合Web展示组件，将不同数据组合成完整的业务大屏。Web组件包括：地图组件、统计图组件、多媒体和交互组件等60种以上组件
预置业务场景展示模板，按行业需求 快速生成专业系统展示大屏。可提供商业、金融、交通、政务、移动APP等行业的16个大屏模板
一键将页面发布到Web应用

数据质量校验工具
支持采集数据质量校验、校验报告、校验任务调度管理
预定义17中校验规则，支持用户自定义规则，支持单表，跨表的数据校验规则

日志管理方便排查数据质量问题，支持异常数据提取和存储

数据治理工具
解决Hadoop数据仓库元数据治理问题，提数据血缘、数据安全和生命周期管理在内的元数据治理核心能力
元数据导入，自动捕获数据集和底层元素之间的关系，快速查找数据血缘关系
数据集血缘关系的可视化浏览

数据集成工具
数据库增量抽取工具
离线文件传输工具
实时采集数据工具

应用场景

应用场景一

1.项目背景及需求
客户具备多个业务系统，源数据格式多样，存储分散。
客户缺乏大数据处理及数据资产管理能力，数据价值未充分挖掘。

2.产品及解决方案
部署天翼云诸葛AI平台-大数据平台，提供大数据存储和计算引擎等大数据基础服务。
基于天翼云诸葛AI平台-大数据平台建设数据中台，满足数据清洗加载、数据治理、数据开发、数据报表、Web 展示大屏开发。和模型训练等数据需求。

3.项目收益
企业开始发现企业运营数据的潜在价值，运营数据成为企业数据资产， 打破数据孤岛，通过运营数据资产，发掘数据价值。
企业数据开发与治理复杂及精细度越来越高，数据量巨大、计算环境更复杂、数据处理任务多样化。
企业降低数据开发技术门槛需求，从专业研究走向千行百业的应用探索，门槛不断降低以支持普通开发人员。

应用场景二

1.项目背景及需求
用户具备上百个业务系统，源数据来源省、市、县、区、镇乡等多级，数据分散在多个平台，未有效统一。
数据质量基础薄弱：数据标准、统计口径不统一；未做质量稽核，数据不准；数据提取时间长，难以快速响应数据支撑需求。

2.产品及解决方案
部署天翼云诸葛AI平台-大数据平台，利用数据集成工具，打通各个平台，采集全业务数据。
基于天翼云诸葛AI平台-大数据平台数据治理工具，统一数据标准，实现各个业务系统统一标准化存储。
统一开发数据服务方式，按需开放接口，管控数据安全。

3.项目收益
建设统一业务大数据平台，实现数据统一汇聚，进行数据融合，构建数据资产。
制定统一的数据标准，管控数据质量。
构建指标管理可视化、元数据管理可视化、数据资产类目可视化、数据源可视化，最终实现数据可见、可懂、可用、可运营。

应用场景三

1.项目背景及需求
某工厂生产过程产生了大量的数据 ，存储估算：原始接入数据峰值80条/秒，每月1.57T，2年37.68T。
需要根据数据调整、协同控制生产过程。须构建数据采集、分析、挖掘和智能管控平台。
实现根据现场工况数据，智能化实现设备实时在线监测、运维和协同控制。

2.产品及解决方案
部署产品鲁班开发服务平台的数据集成模块，实时接入流式数据。
部署天翼云诸葛AI平台-大数据平台和鲁班开发服务平台，实现实时数据存储及处理，包括：经数据清洗、数据加载到HFDS、建设数据仓库、进行数据治理。
基于鲁班开发服务平台，进行数据分析建模，包括：数据进分析、数据挖掘，即时查询、实时监测、故障预测、故障诊断、运行优化、协同控制 。

3.项目收益
基于大数据平台进行数据采集、清洗转换、加载和任务调度。基于数据采集，进行数据标准化存储，元数据管理和数据质量管理。对数据进行安全管控 。
通过商业化大数据服务平台，确保平台数据存储和分析使用安全可控 。
通过建立设备故障检测，设备优化分析，设备故障预测等模型训练，挖掘数据价值。