kafka操作日志管理
发布网友
发布时间:2022-12-27 17:45
我来回答
共1个回答
热心网友
时间:2023-09-25 22:35
首先附上kafka 操作日志配置文件:log4j.properties
根据相应的需要设置日志。
其次 kafka默认打印GC日志,如下,
生产是不需要的 需要关掉,kafka home bin目录下面有个kafka-run-class.sh脚本 vim编辑一下
将参数 KAFKA_GC_LOG_OPTS=" " 设置为空格即可,重启kafka之后就不再打印GC日志了。
可以写个定时清理脚本来清除日志结合
crontab :0 0 2 * * ? /home/cluster/kafka211/bin/cleanupkafkalog.sh
举例删除主题:t1205
(1)在kafka集群中删除topic,当前topic被标记成删除。
./kafka-topics.sh --zookeeper node3:2181,node4:2181,node5:2181 --delete --topic t1205
(2)在每台broker节点上删除当前这个topic对应的真实数据。
删除kafka相关的数据目录,数据目录请参考目标机器上的kafka配置:server.properties -> log.dirs=/var/kafka/log/tmp
rm -r /var/kafka/log/tmp/t1205*
(3)进入zookeeper客户端,删除topic信息
rmr /brokers/topics/t1205
(4)删除zookeeper中被标记为删除的topic信息
rmr /admin/delete_topics/t1205
最后重启ZK和kafka集群,查看是否还有
./kafka-topics.sh --list --zookeeper node3:2181,node4:2181,node5:2181