1. 为什么要手动创建Topic
我们从到到尾都没有创建过"topic.quick.demo"这个Topic,这是因为KafkaTemplate在发送的时候就已经帮我们完成了创建的操作
,所以我们不需要主动创建"topic.quick.demo"这个Topic,而是交由KafkaTemplate去完成。
但这样也出现了问题,这种情况创建出来的Topic的Partition(分区)数永远只有1个,也不会有副本(不知道的回炉重造,Kafka部署集群时使用的),
这就导致了我们在后期不能顺利扩展。所以这种情况我们需要使用代码手动去创建Topic。
2. Kafka Tool 2
Kafka Tool 2是一款Kafka的可视化客户端工具,可以非常方便的查看Topic的队列信息以及消费者信息以及kafka节点信息。
直接丢下载地址:http://www.kafkatool.com/download.html
打开之后我们看到的界面如下,非常简洁,虽然这个工具没有诸如KafkaOffsetMonitor这种监控工具的功能强大,但胜在操作方便,后期会补充一下监控工具的使用。
3. 使用@Bean注解创建Topic
可以说使用SpringBoot创建Topic是一件非常简单的事情。
首先我们在config包下创建KafkaInitialConfiguration类,注册一个类型为NewTopic的Bean即可。

@Configuration public class KafkaInitialConfiguration { //创建TopicName为topic.quick.initial的Topic并设置分区数为8以及副本数为1
@Bean public NewTopic initialTopic() { return new NewTopic("topic.quick.initial",8, (short) 1 ); } }
接下来启动一下SpringBoot项目,启动完成后打开Kafka Tool 2工具,查看一下刚才创建的队列是否存在
4. 手动编码创建Topic
同样在KafkaInitialConfiguration类中编码,注册KafkaAdmin和AdminClient两个Bean

@Bean public KafkaAdmin kafkaAdmin() { Map<String, Object> props = new HashMap<>(); //配置Kafka实例的连接地址
props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "127.0.0.1:9092"); KafkaAdmin admin = new KafkaAdmin(props); return admin; } @Bean public AdminClient adminClient() { return AdminClient.create(kafkaAdmin().getConfig()); }
接下来在DemoTest测试类中编写测试方法,这里需要注意一点Topic的新增删除方法都是异步执行的,为了避免在创建过程中程序关闭导致创建失败,
所以在代码最后加了一秒的休眠,执行测试方法我们打开Kafka Tool 2会发现多出了一个"topic.quick.initial2"的Topic

@Autowired private AdminClient adminClient; @Test public void testCreateTopic() throws InterruptedException { NewTopic topic = new NewTopic("topic.quick.initial2", 1, (short) 1); adminClient.createTopics(Arrays.asList(topic)); Thread.sleep(1000); }
5. 修改Topic分区数量
为什么要更新Topic呢,例如我们上一章创建的“topic.qucik.demo”只有一个分区,后期我们想增加分区数来提高系统吞吐量,
这样我们就需要修改一下Topic的分区数了。实现也非常简单,只需要修改在我们刚才编写的KafkaInitialConfiguration类的initialTopic()方法,紧接着重启一下项目即可。
修改分区数并不会导致数据的丢失,但是分区数只能增大不能减小。

@Bean public NewTopic initialTopic() { return new NewTopic("topic.quick.initial",8, (short) 1 ); } //修改后|
@Bean public NewTopic initialTopic() { return new NewTopic("topic.quick.initial",11, (short) 1 ); }
6. 查询Topic信息
测试类中新建一个testSelectTopicInfo方法 ,使用lambda表达式遍历输出

@Test public void testSelectTopicInfo() throws ExecutionException, InterruptedException { DescribeTopicsResult result = adminClient.describeTopics(Arrays.asList("topic.quick.initial")); result.all().get().forEach((k,v)->System.out.println("k: "+k+" ,v: "+v.toString()+"\n")); }
这个是输出结果,里面就包含了各个分区的信息等等

k: topic.quick.initial ,v: (name=topic.quick.initial, internal=false, partitions=(partition=0, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=1, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=2, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=3, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=4, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=5, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=6, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=7, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=8, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=9, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)), (partition=10, leader=admin-PC:9092 (id: 0 rack: null), replicas=admin-PC:9092 (id: 0 rack: null), isr=admin-PC:9092 (id: 0 rack: null)))