【华为云】流批一体数据治理解决方案

助力企业快速构建数据运营能力，实现批、流、交互式数据一体化治理

企业构建大数据分析架构遇到的难题

数据孤岛
多个存储产品存在数据孤岛，数据存储在多个系统中，增加冗余存储

维护难度大
每个系统的数据格式不一致，数据需要做转换，增加维护成本，尤其是当业务到达一定量级时，维护难度大

成本高
存算一体资源利用率低，计算资源无法根据业务弹性伸缩

华为云流批一体解决方案给企业带来的价值
批、流、交互式一体化
统一元数据，无需移动，一份数据支持多种应用，内置多模计算能力，一份资源支持多种计算，提高资源利用率

一站式开发治理
DGC平台可完成数据全生命周期的开发治理工作，较传统数据治理效率提升7倍以上

更高性能更低成本
EB级离线计算、秒级分析，可根据业务峰值弹性扩缩容，采用存算分离架构，整体成本下降50％

华为云产品服务

数据湖探索 DLI
产品介绍：数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、HetuEngine（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。100%兼容开源生态的Serverless多模计算服务。

产品优势：
1.All in SQL：标准SQL，会SQL就会大数据分析；
2.Kubernetes生态：支持运行Kubernetes生态的用户自定义镜像，便于满足业务多样性诉求；
3.存算分离：存储和计算解耦，分开申请和计费，降低成本的同时，提高资源利用率；

元数据共享，统一视图，一份数据支持多种计算；
4.自动扩缩容：根据业务负载，对计算资源进行预估和自动扩缩容；
5.按量计费：真正的按使用量（扫描量/CU时）计费，不运行作业时“0”费用；
6.免运维、高可用：用户无需感知底层运维、升级、跨AZ高可用，跨AZ双活。

数据湖治理中心 DGC
产品介绍：数据湖治理中心 DGC提供一站式数据管理能力，帮助企业快速构建从数据接入到数据分析、资产化的端到端智能数据运营平台；基于华为数据治理方法论，帮助企业统一数据标准，构建全域大数据资产，加快数据变现，实现数字化转型。

产品优势：
1.一站式数据运营平台：帮助企业构建完整数据中台解决方案；
2. 提供垂直行业可复用的领域知识库：涵盖数据标准、领域模型、数据主题库、算法库和指标库；
3.丰富的数据开发类型：支持多人在线协作开发，供丰富的调度配置策略与海量的作业调度能力；
4.全链路数据治理管控：数据全生命周期管控；
5.统一数据资产管理：从业务视角管理和查看数据，定义业务架构、业务分类和业务术语，统一管理资产访问权限；
6.统一数据安全管理：数据全生命周期的安全管控，提供事前，事中，事后数据安全管理能力。

客户案例
点触科技
点触科技基于华为云智能数据湖平台DLI + DGC，建立了游戏数据分析平台，对游戏的营收、玩家的留存率、付费率等指标进行实时分析帮助运营人员进行活动策划，助力发行人员进行精准投放，支撑管理层快速进行核心业务决策。

梦饷集团
华为云云原生数据湖，助力梦饷集团洞察新电商机遇，使能数据，洞察多元业务创新，为企业提供全场景解决方案，优化资源使用效率，实现降本增效。

电商行业-精准营销
场景描述
电商行业需要获取多个途径的信息做关联分析，以便更好的做精准营销，提高转化率。
如：关联【页面广告点击事件数据】和【用户注册数据】，获取不同年龄段喜欢的广告类型，以便对不同年龄段用户投放更精准的广告。

业务痛点
电商行业获客难度大、成本高，转化率低。

方案优势
1.自动扩缩容：支持开通专属资源，通过min/max控制最小资源保障和最大弹性上限；
2.纯SQL操作：DLI已对接多个数据源，直接通过SQL建表就可以完成数据源的映射；
3.数据驱动运营：通过DGC，从数据接入到数据报表生成，构筑客户画像，提升数据质量，实现数字化运营。



游戏行业-日志分析

场景描述
游戏公司通过游戏运营平台，借助数据力量，突破行业瓶颈。
例如：寻找优质的投放渠道、提高新手期玩家留存、优化运营活动提升玩家活跃、数据驱动产品迭代等。

业务痛点
日志分析通常按周期进行调度，每次调度之间存在大量空闲期。

方案优势
1.按量计费：DLI按量计费只在使用期间收费，成本较独占集群降低50%以上；
2.批流交互式一体：DLI是批流交互式一体架构，使用一份资源就可以完成流式数据清洗和批量数据分析以及交互式查询；
3.端到端分析：通过DGC对数据进行调度分析，构筑数据的“存-通-用“链路，实现一站式分析。

行业通用-跨源联合分析

场景描述
应用的数据（如：注册信息）存在关系型数据库中，想对数据库内的数据进行分析。

业务痛点
1.数据量日益增多，复杂查询关系型数据库查不出来；
2.数据分库分表存在多个关系型数据库中，无法做全量分析治理；
3.不想因为分析业务影响在线业务。

方案优势
1.熟悉的SQL体验：DLI的SQL语法全兼容关系型数据库的标准ANSI SQL 2003，0学习成本，使用习惯保持一致；
2.极致性能：DLI采用分布式内存计算模型，轻松处理海量数据；
3.一站式开发：DGC采用拖拽式工作流编排，批流结合的全链路运维。