【华为云】大数据迁移上云解决方案

提供IDC上云、CDH上云、云上资源迁移等多种大数据迁移解决方案，指导客户完成业务零改造、不中断、便捷高效的大数据迁移

支持多场景数据迁移上云

自建IDC迁移上云
公司基于开源Hadoop生态，已自建机房搭建大数据系统，计划迁移上云

CDH迁移上云
公司已根据Cloudera开源分布式系统，构建了一个功能先进、组件齐全、系统完善的大数据平台，计划迁移上云

云上自建迁移
公司为了打破云云壁垒，平滑迁移私有云、混合云、公有云等各种业务场景

自建IDC迁移上云

华为云助力美图业务快速上云

业务挑战
存算一体，集群利用率低
业务随节假日、热点事件等发生，导致数据量瞬间暴涨。而线下机房受限，计算资源与存储资源绑定，无法根据计算和存储的不同增长情况分别动态扩容，整体利用率低。

数据孤岛
集团业务错综复杂，统计业务多样化，业务之间都有各自数据，数据都各自存储各自定义。导致数据就像一个个孤岛一样极其困难和企业内部的其他数据进行连接互动。

运维工作量大成本高

美图的DBA人均维护数据库和实例多达100+，人力严重不足，大量数据库日常运维工作挤满DBA时间。采用的开源Hadoop自建大数据平台，开源Bug和性能问题处理、集群扩容等场景，均需要投入大量运维成本。

解决方案

大数据迁移解决方案助力美图7大业务模块平滑上云
首先将业务底座升级为云原生基础设施，实现性能、弹性伸缩能力的极大提升；并通过存算分离+鲲鹏低成本大数据解决方案，将7大业务模块平滑顺利迁移至华为公有云，提升并行计算、降低跨服务器数据传输。

客户价值

性能提升
基于云原生基础设施的极致性能和弹性扩容能力，在高并发场景下，核心业务及数据库性能依旧稳定，QPS提升3.5倍，帮助美图高效应对20亿+客户的海量突发业务请求。

降本提效
集群总核数相比自建下降20%。资源按需扩容，利用率提升40%，综合成本下降30%；一份数据自由流动，避免重复拷贝，支持多元计算+AI创新，使数据快速变现，有效实现降本提效。

安全可靠
通过部署多种灾备形态，满足美图不同业务的灾备需求，数据库容灾能力得到增强；备份数据可靠性高达11个9，TB级数据分钟级内恢复，为美图业务保驾护航。

CDH迁移上云

华为云助力北汽福田车联网业务快速上线

业务痛点
自建机房空间不足，扩建与研发投入成本高
客户已有两个自建机房，利用传统重量级ESB总线式建设，来打通烟囱式应用。大量使用传统的中间件和数据库，软硬件整体成本高昂。

运维成本持续增长
IT研发及运维人员不足以支撑业务的快速发展（百万级并发、毫秒/秒级响应、海量数据）及7*24小时业务不中断。

升级大数据分析能力
客户希望做车辆状态分析、实时监控等分析，希望通过车联网数据挖掘车辆的疲劳驾 驶、异常轨迹挖掘、油耗异常波动分析。

解决方案

IT应用全面服务化、云化
福田汽车车联网平台采用互联网主流、标准、开源技术架构，采用云计算、负载均衡技术、大数据技术、容器技术等，支持高可用性、高负载、海量数据，采用构件技术、实现多种协议弹性接入和行业应用高度可配置，构成完整的安全、可扩展、开放的车联网平台架构。

客户价值

资源弹性扩缩容
整体方案“按需使用，以租代建”，资源发放从“天”缩短到现在的“分钟”级别。CCE容器化，实现秒级弹性扩容，实现计算资源弹性。

安全高可靠
支持百万级并发，支撑福田90万+车辆安全稳定接入。

打通全价值链数据
华为云提供端到端的解决方案，打通全价值链数据。如车辆救援过程全程可视，故障提前预警，车辆救援费用降低10%~30%。

方案技术架构

帮助客户平滑快速迁移上云，并一键式构筑数据接入、数据存储、数据分析和价值挖掘的统一大数据平台
与华为云IOT物联网、ROMA平台、DGC、DLV等服务对接，为客户轻松解决数据通道上云、大数据作业开发调度和数据展现的困难

场景特点
存算分离，弹性伸缩，大大降低使用成本
优化集群部署架构，提高资源利用率，减少资源竞争
集群高可用、高可靠
集群可视化管理、统一运维

方案优势

自研优化，性能更优
•自研CarbonData万亿数据秒级响应。•自研Superior，突破10000节点调度瓶颈。

鲲鹏+存算分离方案，超高性价比
•支持自研鲲鹏服务器，结合自研操作系统、Huawei JDK，打造软硬件一体国产化。•主推存算分离方案，超高性价比。

企业级平台，支持滚动补丁升级能力
•运维平台可视化运维平台，状态实时监控、告警短信提醒。•补丁主动推送，一键式安装，业务不中断。

MapReduce服务与自建Hadoop集群对比

迁移服务流程

需求调研
我们需要贵公司反馈当前大数据业务架构设计、数据流向、集群配置等信息
另外若有特殊的迁移诉求、业务痛点，可提供针对性的解决方案

定制化迁移方案设计
根据您的业务特点、大数据架构、迁移诉求提供个性化定制方案

迁移实施
根据定制迁移方案开展迁移工作，包含：环境搭建、数据迁移、作业迁移、性能测试等

割接上线
完成业务对接、校验后割接上线，割接期间提供全程重保，保障业务平稳迁移