【阿里云】消息队列 Kafka

消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。

产品优势

开箱即用
100% 兼容开源社区 Apache Kafka（0.10.0.0 及以上版本），业务代码无需任何改造，快速上云

全托管服务
提供全托管服务，用户只需专注于业务开发，无需部署运维，更专业、更弹性、更可靠

高可用性
专业团队保障更高可用性，优化开源 Apache Kafka 长期以来的痛点，消息堆积能力强，支持数万级 Topic

数据安全
支持 SASL 用户身份认证与 SSL 通道加密传输机制，确保数据不被窃取或篡改，保证用户数据的安全

产品功能

开箱即用
开箱即用，无缝迁移，帮助您的业务快速上云

开箱即用
100% 兼容开源社区 Apache Kafka（0.10.0.0 及以上版本），全面兼容 Apache Kafka 开源客户端

无缝迁移
基于现有的开源 Apache Kafka 生态的代码，无需任何改造，即可无缝迁移上云

生态丰富
开源与云服务相结合，全面融合 Apache Kafka 开源社区生态，以及阿里云平台大数据产品生态

高可用性
阿里巴巴消息产品研发与性能优化团队，进一步优化开源产品长期以来的痛点，提供更优质的服务

高可靠/高可用
跨可用区、多副本数据冗余，数据可靠性 99.999999%，服务可用性 99.9%

海量消息堆积
在海量消息堆积的情况下，始终保持 Kafka 集群的消息收、发的高吞吐能力

弹性伸缩
可根据业务规模按需扩容，Broker、Topic、分区横向伸缩，上层业务无感知

全托管服务
专业的且经验丰富的运维团队，提供体系化的产品运维

HouseKeeping（健康巡检组件）
Apache Kafka 核心链路运行时巡检，每分钟会对集群做一次全面扫描诊断并健康预警

业务监控与告警
实例、消息堆积、TPS 等多维度监控与告警设置，帮助用户及时发现问题

Open API
完善的管控类 Open API，用于实现一系列资源管理和运维功能

数据安全
提供鉴权与授权机制、主子账号等功能，提供企业级的安全防护

访问控制
VPC 网络隔离，对每次消息收、发请求进行安全访问控制，确保消息的安全性

主子账号
全面支持 RAM 主子账号、黑白名单、STS 等功能，提供授权能力

数据安全
SASL 用户身份认证与 SSL 加密传输，确保数据传输过程中不被窃取或篡改，保证客户数据的安全

经典应用场景

构建日志分析平台

日志聚合
淘宝、天猫平台等公司每天都会产生大量的日志。Kafka 性能高效，同时 Kafka 的特性决定它非常适合作为"日志收集中心"： 1. 采集日志时业务无感知；2. Hadoop/ODPS 等离线仓库存储和 Storm/Spark 等实时在线分析对接；

能够解决
应用与分析解耦
构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

在线/离线分析系统
支持实时在线分析系统和类似于Hadoop之类的离线分析系统；

网站活动跟踪场景

高吞吐，大数据集成
通过消息队列 Kafka 版可以实时收集网站活动数据（包括用户浏览页面、搜索及其他行为等）。发布-订阅的模式可以根据不同的业务数据类型，将消息发布到不同的 Topic；还可通过订阅消息的实时投递，将消息流用于实时监控与业务分析或加载到 Hadoop、ODPS 等离线数据仓库系统进行离线处理；

能够解决
高吞吐
网站所有用户产生的行为信息极为庞大，需要非常高的吞吐量来支持；

大数据分析
可对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS

数据在流动中产生价值

流计算处理
股市走向分析、气象数据测控、网站用户行为分析等领域，由于数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。而Kafka 以及 Storm/Samza/Spark 等流计算引擎的出现，可以根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。

能够解决
高可扩展性
由于数据产生非常快且数据量大，需要非常高的可扩展性；

流计算引擎
可对接开源 Storm/Samza/Spark 以及 EMR、Blink、StreamComput

数据中转枢纽

多路转发
近年来KV存储（HBase）、搜索（ElasticSearch）、流式处理（Storm/Spark Streaming/Samza）、时序数据库（OpenTSDB）等等专用系统应运而生，产生了同一份数据集需要被注入到多个专用系统内的需求。利用Kafka 作为数据中转枢纽，同份数据可以被导入到不同专用系统中。

能够解决
一对多消费模型
发布/订阅模型，支持同份数据集能同时被消费多次；

同时支持实时和批处理
本地数据持久以及PageCache，在无性能损耗的情况下能同时传送

更多产品与服务

消息队列 RocketMQ 版
阿里巴巴官方指定消息产品，成熟、稳定、先进的技术体系打造金融级消息服务，感受双十一产品的完美体验

微消息队列 MQTT 版
移动互联网、物联网、互动直播原生支持，万物互联，端与云双向通信，支撑千万级设备同时在线

消息队列 RabbitMQ 版
完全兼容 AMQP 标准协议以及 RabbitMQ 开源生态与多语言客户端，开箱即用，免运维，更安全、更可靠

消息服务 MNS
采用 HTTP RESTful 标准，方便易用，快速接入，跨网络能力强，轻松实现消息的推送与事件通知；