新都在
行动起来，活在当下
目 录CONTENT
elasticsearch-新都在
以下是
elasticsearch
相关的文章
-
-
使用logstash监控文件并传输到ES中 本文介绍了如何使用logstash来监控文件并将数据传输到Elasticsearch（ES）。在配置文件中，我们使用logstash的File Input插件来监听指定路径下的txt文件。由于文件中的每一行都是一个标准的json格式，我们可以选择将codec设置为json，以便正确解析每行数据。在filter部分，我们使用mutate插件中的gsub方法，将消息中的换行符替换为实际的换行符。最后，在output部分，我们配置了ES的连接信息以及将数据存储到ES中的索引名称。通过这样的配置，logstash能够实现监听文件并将数据传输到ES的功能。这种方法可以适用于需要从文本文件中读取数据并进行分析和存储的场景。
-
使用logstash将kafka中的元数据写入到es中 本文主要介绍了如何使用logstash将kafka中的元数据写入到Elasticsearch（ES）中。在logstash的配置文件中，我们可以通过修改filter的mutate属性来操作元数据。通过设置`decorate_events`为`true`，可以获取到kafka中的一些重要元数据，如topic、consumer_group、partition、offset、key和timestamp。其中，我们可以使用`mutate`中的`split`方法和`add_field`方法，将kafka的key进行切割并将切割后的数据存放到自定义字段中。最后，配置output的部分，将数据输出到ES中。通过这样的配置，我们可以实现将kafka中的元数据写入到ES的目的。该方法在logstash 7.3版本以上，且匹配kafka 2.0以上的版本均可使用。
-
基于High-level-rest-client使用JavaAPI完成对Elasticsearch的聚合查询 本文介绍了如何使用High-level-rest-client和JavaAPI完成对Elasticsearch的聚合查询。作者指出在5.x版本后，官方不太支持使用transportClient进行查询，而且由于实际环境涉及到加密，无法使用transportClient方式进行查询，因此选择了High-level-rest-client方式。文章详细介绍了pom.xml文件中需要引入的相关jar包，以及配置ElasticsearchConfig和ElasticsearchService类来实现对Elasticsearch的聚合查询。ElasticsearchService类中包含了在指定时间范围内查询关键字对应值的功能，通过High-level-rest-client创建client，构建查询条件，并处理查询结果。整体介绍了如何使用JavaAPI和High-level-rest-client完成对Elasticsearch的聚合查询。
-
