使用logstash将kafka中的元数据写入到es中
本文主要介绍了如何使用logstash将kafka中的元数据写入到Elasticsearch(ES)中。在logstash的配置文件中,我们可以通过修改filter的mutate属性来操作元数据。通过设置`decorate_events`为`true`,可以获取到kafka中的一些重要元数据,如topic、consumer_group、partition、offset、key和timestamp。其中,我们可以使用`mutate`中的`split`方法和`add_field`方法,将kafka的key进行切割并将切割后的数据存放到自定义字段中。最后,配置output的部分,将数据输出到ES中。通过这样的配置,我们可以实现将kafka中的元数据写入到ES的目的。该方法在logstash 7.3版本以上,且匹配kafka 2.0以上的版本均可使用。