【阿里云】开源大数据平台 E-MapReduce

阿里云 E-MapReduce (EMR) 是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。

更多机型方案
Hadoop 集群
开源大数据离线、实时、Ad-hoc查询场景。Hadoop是完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink、Storm流式数据计算，Presto、Impala交互式查询，Oozie、Pig等Hadoop生态圈的组件，支持OSS存储，支持Kerberos的数据认证与加密。

ZooKeeper集群
分布式一致锁，E-MapReduce全托管Zookeeper组件，适用于大规模的Hadoop集群、HBase集群、Kafka集群独立的分布式一致性锁服务。

Druid集群
实时交互式分析服务场景，E-MapReduce Druid提供了大数据查询毫秒级延迟，支持多种数据摄入方式。可与E-MapReduce Hadoop、E-MapReduce Spark、阿里云OSS、阿里云RDS等服务搭配组合使用，构建灵活稳健的实时查询解决方案。

DataScience集群
主打人工智能解决方案的云上EMR集群。内置PAI-Alink机器学习平台，包含数百种机器学习算法，开箱即用。包含TensorFlow、PyTorch深度学习框架。提供FaissServer、模型在线服务等工具，帮助客户快速构建智能推荐等业务场景。

产品优势

操作简单易用
无需配置硬件与软件，直接选择即可快速启动集群使用。全Web化的管理运维操作

按需节约成本
按需创建集群，满足短时间计算的需求。动态的按需伸缩计算节点，应对各种的临时需求

集群环境稳定安全
深度优化的集群环境，后台的自动化运维，多渠道的在线支持；支持Kerberos认证与数据加密，支持 RAM 主子账号对服务权限进行细化管理

深度整合资源
与阿里云其它产品（如 OSS、MNS、RDS、MaxCompute 等）进行了深度整合，支持以这些产品作为 Hadoop/Spark 计算引擎的输入源或者输出目的地

应用场景

数据集成

支持丰富的数据集成方式
支持开源、阿里云自研、离线、实时等各种的数据集成工具连接到 E-MapReduce 之上。

能够解决

文件数据

实时日志文件或其他文本数据的采集

数据库
批量或者实时数据库数据的采集

离线计算

丰富灵活，高性价比的离线处理模式
支持Hive、Pig、Spark、SparkSQL、Tez等多种计算引擎。您可以根据需要选择，同时支持丰富的数据存储选择，不同存储位置的数据都可以被访问和使用。

能够解决
丰富的计算引擎
支持MR、Hive、Pig、Spark、Tez等等多种方式

支持丰富的数据源
支持OSS、HDFS、MaxCompute、Kafka等

支持丰富的数据目的地
可以将计算结果数据，以各种形式根据需要写到各种软件中去

Ad Hoc数据分析

灵活快速的数据分析
通过阿里云的弹性，在云上可以快速的创建出一个 Hadoop 集群，并进行数据分析。而集群可以在任务完成以后被释放。

能够解决
弹性集群
通过 EMR 可以快速的创建一个临时的Hadoop集群，任务结束后就释放

弹性的计算量
根据任务的需要，可以在集群上自定义计算节点，快速的满足计算需求

流式计算

丰富灵活，性能可靠稳定的实时计算
支持丰富的实时数据源，支持社区的所有现有方案，支持阿里云自由的云产品方案。

能够解决
丰富的数据源
日志文件以及数据库binlog都可以作为数据源使用

丰富的计算引擎
支持Spark Streaming、Storm以及Flink