联系我们

苏州奥尔马电子科技有限公司

江苏省苏州市高新区金猫路9号B幢

丁经理

13584892482

13584892482

135848924828

【华为云】MapReduce服务

发布者:极豹云发布时间:2022-05-19访问量:262

MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。



产品优势


存算分离
先进的计算存储分离架构,提供大数据全引擎的On OBS方案,100%兼容开源生态接口,提供低成本海量数据存储方案;支持自研鲲鹏服务器,充分利用鲲鹏多核


高并发能力,释放硬件算力,降低计算成本


高性能
基于自研CarbonData的索引、物化视图、缓存等技术,实现万亿数据秒级响应;自研大规模集群调度器Superior,突破单集群规模瓶颈,单集群调度能力突破10000

节点;自研数据加速引擎DataTurbor,性能大幅提升


多级高可靠
支持集群节点部署实例分散化,单节点故障时迅速迁移至其他节点、支持跨AZ数据同步备份、支持数据冗余存储、支持集群元数据外置到RDS、集群所有服务管理

节点支持HA高可靠,实现虚拟机、集群及跨AZ的多级高可靠性


高安全
支持Kerberos认证管理和企业细粒度融合管理,按照项目维度进行集群操作权限管理;支持多租户管理,对集群内的计算存储资源按租户维度隔离;支持存储加

密和数据传输通道加密,支持数据表、列级别的加密存储,保证敏感数据安全


灵活弹性
资源灵活配比,可以选择鲲鹏/x86不同配比的Flavor规格,支持裸金属、虚拟机不同部署方式;单集群支持裸金属和虚拟机混合部署,峰谷任务可通过预先配置

策略,按需自动弹性伸缩


企业级
一键式集群安装部署和扩容,用户无需关注硬件的购买和维护;可视化的企业级集群管理系统,节点状态实时监控、告警短信提醒。补丁主动推送,一键安装,

业务不中断


不同业务场景下使用MapReduce


大数据上云


线下大数据平台迁移上云

快速将自建大数据平台(IDC、CDH、Hontonwoks、FusionInsight等)平滑搬迁上云或将其他大数据云服务平台平滑迁移至MRS,将客户业务和数据一次性搬迁

到云上大数据服务MRS中,并基于云上环境快速构建云下系统,满足客户未来业务快速增长需求

优势

计算存储分离
MRS具备计算存储分离的先进架构,鲲鹏加持,多核高性价比


统一数据存储
再无数据孤岛,一份数据,多种计算引擎, 实现一份数据服务多个业务、跨业务数据可连接、可分析、可共享


灵活弹性伸缩
资源灵活配比,可以选择多种计算和存储资源进行组合,按需自动弹性伸缩,大大降低上云成本


完全兼容开源
100%兼容开源生态接口,存算分离数据迁移,支持屏蔽OBS接口,业务无感知,客户业务代码“0”改动


搬迁简单快速
搬迁工具齐全,简单快速完成无业务中断迁移方案


场景适用服务
MapReduce服务 MRS 智能数据湖运营平台 DAYU 对象存储服务 OBS 云数据迁移 CDM


车联网行业



车联网

基于开源生态,提供快速高效数据处理计算引擎,帮助车联网企业快速上云,灵活构建开放、统一、全栈式的数据分析大数据平台

优势

统一全栈式大数据平台,灵活弹性
MRS具备企业级大数据的平台能力,计算和存储分离,灵活方便,省事又省心


拥有多引擎混合负载处理能力
MRS提供了丰富的开源组件,灵活搭配,满足客户实时、离线等混合复杂业务处理诉求


高性能,低成本
可以通过MRS Kafka和Storm实时获取流数据,实现高吞吐量、低延时的实时计算、分析能力


兼容开源标准接口
MRS基于开源,拥抱开源,完全兼容开源Apache Hadoop生态API


场景使用服务
MapReduce服务 MRS 云数据库 MySQL 对象存储服务 OBS IoT平台 IoT


金融保险


金融保险

利用专属云MRS大数据的优势,满足保险业在合规、安全、可靠等方面的需求,重构传统保险企业的IT架构,快速构建和部署保险业务系统,帮助保险企业快速

实现数字化转型,轻松实现业务创新和业务的敏捷演进

优势

安全可信
满足行业监管要求,保护客户敏感数据安全


资源专属
专属MRS集群,资源独享,计算、存储物理资源隔离


创建灵活,全栈技术,简单运维
一键式灵活创建全栈式大数据平台,提供企业级平台管理界面,运维简单


场景适用服务
MapReduce服务 MRS 智能数据湖运营平台 DAYU 分布式缓存服务 Redis 对象存储服务 OBS


舆情分析




舆情分析

以MRS一站式大数据平台为核心,利用大数据实时接入Kafka,实时分析Storm,海量存储HBase等组件,完成海量的数据信息采集与分析处理过程,为政府、企

业等客户提供舆情监测,舆情分析展示,舆情推送等服务

优势

灵活弹性,低成本
弹性大数据服务MRS支持计算节点的弹性扩容,按执行计划自动扩缩容,更省成本


实时高效
利用MRS Kafka/Storm等高性能流式集群能力,解决每秒数万条实时舆情信息实时采集和分析能力,做到毫秒级延迟


PB级海量存储
利用MRS HBase提供的分布式、可伸缩的NoSQL海量数据存储,适用于海量结构化数据、半结构化数据分析查询


场景适用服务
MapReduce服务 MRS 云搜索服务 CSS 对象存储服务 OBS

智慧物流



智慧物流


依靠MRS大数据分析平台,实现物流各环节的智能管理,提高业务运营效率,大大的降低成本

优势

高吞吐、低时延
提供专属MRS Kafka集群,具备高吞吐、高可用、低延迟的数据接入能力,实现百万级消息实时接入


海量数据分析处理
利用MRS Spark,支持海量数据计算处理,选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析


搭载AI,更智能
MRS搭载AI技术,可以直接对大数据进行价值挖掘,为物流组织、市场营销、经营管理提供更加精准、智能化的预测分析


场景适用服务
MapReduce服务 MRS 数据仓库服务 GaussDB(DWS) 智能数据湖运营平台 DAYU 分布式缓存服务 Redis 云数据库 MySQL

梯联网行业



梯联网

面对梯联网行业的业务快速创新和灵活多变的业务模式,提供开放式的一站式大数据处理平台,实现电梯智能管理

优势

开放、灵活

可根据业务场景灵活搭配各种计算、存储硬件规格产品,构建统一的开放式大数据平台,并提供丰富的计算引擎和海量存储能力,具备灵活集成业务所需服务组

件能力


高性能、大容量

利用MRS Kafka,搭载C3ne高性能服务器,实现百万级别的电梯数据的实时接入

搭载AI能力

支持GPU,具有实时高速的并行计算和浮点计算能力,适应用于视频编解码,深度学习、科学计算等应用场景


场景适用服务
MapReduce服务 MRS 云搜索服务 CSS IoT平台 IoT 云数据库 MySQL


智慧水务



智慧水务

以大数据云服务MRS-Hadoop为核心,构建高性能、高可靠的统一大数据存储分析平台

优势

统一数据平台,灵活弹性
使用MRS服务搭建,具备企业级大数据的平台能力,并提供了丰富的开源组件,灵活搭配,同时满足客户实时/离线等混合复杂业务处理诉求


高吞吐、低延时
可以通过Storm从Kafka获取实时流数据,实现高吞吐量、低延时的实时计算、分析能力


支持多类型数据融合
同时支持各种结构化/半结构化/非结构化数据计算处理,轻松迁移传统数仓数据,实现跨源数据探索分析


场景适用服务
MapReduce服务 MRS 云数据迁移 CDM 云数据库 MySQL

游戏行业



游戏

游戏日志数据通过Kafka/Flume实时接入,利用SparkStreaming实时处理分析,入库存储到HBase/Hive,快速实现游戏广告分析、数据查询分析、营收分析等业



优势

统一平台,灵活弹性
MRS具备企业级大数据的平台能力,提供了丰富的大数据组件,用户可以灵活搭配,同时满足实时/离线等复杂业务处理诉求


高实时、高吞吐
利用MRS Kafka/Flume完成实时数据采集,搭载网络增强型C3ne高性能服务器,实现海量数据实时接入


场景适用服务
MapReduce服务 MRS 弹性负载均衡 ELB 对象存储服务 OBS 云数据库 MySQL

能源行业



能源

为光伏电站运营商提供企业级大数据云服务,轻松运行Hadoop、Spark、HBase、Storm等大数据组件,实现设备的预测性维护

优势

统一大数据平台

使用MRS服务搭建,具备企业级大数据的平台能力,并提供了丰富的大数据组件,灵活搭配,同时满足客户实时/离线等混合复杂业务处理诉求


海量数据采集

利用MRS的Kafka和Sqoop实现多种数据采集方式,实现百万级消息实时接入


简单易用

基于多维数据,支持SQL接口查询,轻松实现数据探索分析


场景适用服务

MapReduce服务 MRS 对象存储服务 OBS 云数据迁移 CDM 云数据库 MySQL


支持多应用场景集群




客户案例





视频教程



帮助文档



开发者资源


API 
通过发起HTTP/HTTPS请求调用API的方式灵活的使用MRS服务

地区和终端节点 
通过了解华为云MRS服务当前可服务区域和服务的Endpoint,选择出更加满足业务布局的服务区

SDK 
通过MRS提供的SDK, 您可以轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件