【天翼云】分布式消息服务Kafka

分布式消息Kafka 是一个分布式、高吞吐量、高可用的消息队列服务，针对开源的 Kafka 提供全托管服务，彻底解决开源产品长期以来的痛点，用户只需专注于业务开发，无需部署运维，低成本、更弹性、更可靠，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域。

产品优势
高可用性
生产消费自动负载均衡，消息节点故障时自动主备切换，保证服务的连续性。

高安全性
提供用户鉴权和SASL授权访问机制，提供企业级的安全防护，确保数据传输过程中不被窃取或篡改。

可靠
一份消息多份落盘存储，允许海量消息堆积。

全托管
业务系统基于现有的开源 Apache Kafka 生态的代码，无需任何改造，即可迁移上云，不再需要专门部署、运维，只需专注业务本身。

产品功能
访问接口
支持通过API调用，查询Broker、Topic监控指标等。
管理控制台上进行的操作用于主题、消费组、应用用户增删查改等管理工作。

队列能力
队列类型
高吞吐，消息多副本异步复制。

队列类型
高吞吐，消息多副本异步复制。
高可靠，消息多副本同步复制。

消息能力
广播消息
在同一个消费组内对所有消费者投递相同消息。

消息回溯
支持根据时间重置消费进度

消息数据自动删除功能
在磁盘满后，在保护期外的数据，能自动删除，保证服务可用性

应用场景

日志收集

适用场景

Kafka本身的性能是非常高效的，其特性决定它非常适合作为"日志收集中心"，当日志数据发送到Kafka集群，对于业务而言是完全无侵入的。同时其在下游又能直接对接Hadoop/ODPS等离线仓库存储和Strom/Spark等实现实时在线分析。只需用户去关注整个流程里面的业务逻辑，而无需做更多的开发就能够实现统计、分析以及报表。

实现功能
应用与分析解耦
构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

支持在线/离线分析系统
支持实时在线分析系统和类似于 Hadoop 的离线分析系统。

自动故障切换功能
生产消费自动负载均衡，消息节点故障时自动主备切换，保证服务连续性。

安全防护
可追溯租户管理操作的记录。 提供用户鉴权和SASL授权访问机制，提供企业级的安全防护。

运维监控
提供Topic、消费组、应用用户的管理；Broker、Topic多维度指标监控

流计算处理

适用场景
Kafka能够做到流计算处理，如股市走向分析、气象数据测控、网站用户行为分析等，这些领域中数据产生快、实时性强、数据量大，很难统一采集并入库存储后再做处理。而Kafka Stream以及Storm/Samza/Spark等流计算引擎，可根据业务需求对数据进行计算分析，最终把结果保存或者分发给需组件。

实现功能
流动的数据
构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

支持流计算引擎
可对接开源 Storm/Samza/Spark 流计算引擎。

多路转发

适用场景
对于不同业务维度，需要不同计算方式，比如对于对账系统而言，可能需要实时的流处理方式；对于统计分析而言，可以使用批计算方式。Kafka能够实现多路转发，上游生产一份数据，多个下游节点都能够获取这份数据并做出相应的处理，Kafka可完成数据多路转发功能。

实现功能
一对多消费模型
“发布/订阅”模型，支持同份数据集能同时被消费多次；

同时支持实时和批处理
支持本地数据持久化和 Page Cache，在无性能损耗的情况下能同时传送消息到实时和批处理的消费者。