Kafka-manager布置与测验(完好)51CTO博客 - 亚美娱乐

Kafka-manager布置与测验(完好)51CTO博客

2019-03-06 10:00:43 | 作者: 振凯 | 标签: 一个,散布,集群 | 浏览: 1426

Kafka-manager布置

一、概念

    概念百度了一下,能够依据相关材料进行了解。

1.1 Kafka是一种高吞吐量的散布式发布订阅音讯体系,它能够处理顾客规划的网站中的一切动作流数据。

Broker

Kafka集群包含一个或多个效劳器,这种效劳器被称为broker。 

Topic

每条发布到Kafka集群的音讯都有一个类别,这个类别被称为Topic。(物理上不同Topic的音讯分隔存储,逻辑上一个Topic的音讯尽管保存于一个或多个broker上但用户只需指定音讯的Topic即可出产或消费数据而不用关怀数据存于何处)

Partition

Partition是物理上的概念,每个Topic包含一个或多个Partition.

Producer

担任发布音讯到Kafka broker

Consumer

音讯顾客,向Kafka broker读取音讯的客户端。

Consumer Group

每个Consumer归于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则归于默许的group)。

1.2 ZooKeeper是一个散布式的,开放源码的散布式使用程序和谐效劳,是Google的Chubby一个开源的完成,是Hadoop和Hbase的重要组件。它是一个为散布式使用供给共同性效劳的软件,供给的功用包含:装备保护、域名效劳、散布式同步、组效劳等。

ZooKeeper的根本作业流程:

1、推举Leader。

2、同步数据。

3、推举Leader过程中算法有许多,但要到达的推举标准是共同的。

4、Leader要具有最高的履行ID,相似root权限。

5、集群中大大都的机器得到呼应并follow选出的Leader。

1.3 kafka-manager为了简化开发者和效劳工程师保护Kafka集群的作业,yahoo构建了一个叫做Kafka办理器的根据Web东西,叫做 Kafka Manager。这个办理东西能够很容易地发现散布在集群中的哪些topic散布不均匀,或者是分区在整个集群散布不均匀的的情况。它支撑办理多个集群、挑选副本、副本重新分配以及创立Topic。一起,这个办理东西也是一个非常好的能够快速阅读这个集群的东西,有如下功用:

1.办理多个kafka集群
2.快捷的查看kafka集群情况(topics,brokers,备份散布情况,分区散布情况)
3.挑选你要运转的副本
4.根据当时分区情况进行
5.能够挑选topic装备并创立topic(0.8.1.1和0.8.2的装备不同)
6.删去topic(只支撑0.8.2以上的版别而且要在broker装备中设置delete.topic.enable=true)
7.Topic list会指明哪些topic被删去(在0.8.2以上版别适用)
8.为已存在的topic添加分区
9.为已存在的topic更新装备
10.在多个topic上批量重分区
11.在多个topic上批量重分区(可选partition broker方位)

kafka-manager 项目地址:https://github.com/yahoo/kafka-manager

二、布置

2.1 初始化环境

初始化体系,封闭防火墙修正主机名与ip称号

称号

HOSTNAME

IP

1

kafka-1

172.17.10.207

2

kafka-2

172.17.10.208

3

kafka-3

172.17.10.209

wKiom1k-j_OgAEpyAADPLeK_rfY052.png



版权声明
本文来源于网络,版权归原作者所有,其内容与观点不代表亚美娱乐立场。转载文章仅为传播更有价值的信息,如采编人员采编有误或者版权原因,请与我们联系,我们核实后立即修改或删除。

猜您喜欢的文章