使用logstash将kafka中的元数据写入到es中
本文主要介绍了如何使用logstash将kafka中的元数据写入到Elasticsearch(ES)中。在logstash的配置文件中,我们可以通过修改filter的mutate属性来操作元数据。通过设置`decorate_events`为`true`,可以获取到kafka中的一些重要元数据,如topic、consumer_group、partition、offset、key和timestamp。其中,我们可以使用`mutate`中的`split`方法和`add_field`方法,将kafka的key进行切割并将切割后的数据存放到自定义字段中。最后,配置output的部分,将数据输出到ES中。通过这样的配置,我们可以实现将kafka中的元数据写入到ES的目的。该方法在logstash 7.3版本以上,且匹配kafka 2.0以上的版本均可使用。
Topic基本操作
本文详细介绍了在Linux服务器上使用Kafka进行操作的基本命令和步骤。首先,通过`locate kafka-topics.sh`命令找到Kafka安装位置,然后配置`service.properties`文件中的参数,如`partitions`和`replication-factor`来定义topic的分区和副本数。接下来,演示了创建、查看、生产和消费Kafka topic的命令,包括使用`bin/kafka-topics.sh`和`bin/kafka-console-producer.sh`来发送数据,以及使用`bin/kafka-console-consumer.sh`查看数据。此外,还展示了如何查看topic分区的偏移量,以及如何通过`bin/kafka-topics.sh --alter`命令增加topic的分区数。最后,提醒了删除topic时需谨慎操作,只删除ZooKeeper中的元数据,而消息文件需要手动删除。文章通过这些操作指导读者如何有效地管理和监控Kafka中的topic和消息流。
Java岗大厂面试百日冲刺【Day11】 —— MyBatis1
本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
Java岗大厂面试百日冲刺【Day31】—— 消息队列1
本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
Java岗大厂面试百日冲刺【Day29】—— RPC框架
本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
Java岗大厂面试百日冲刺【Day32】—— 基础篇3
本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
Java岗大厂面试百日冲刺【Day9】 —— SpringBoot1
本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
Java岗大厂面试百日冲刺【Day17】—— 数据库4
本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
Java岗大厂面试百日冲刺【Day2】 —— Redis篇1
本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
Java岗大厂面试百日冲刺【Day8】 —— Redis2
本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。