logstah
社区日报 第1307期 (2021-01-12)
社区日报 • kin122 发表了文章 • 0 个评论 • 1378 次浏览 • 2022-01-12 10:13
社区日报 第1300期 (2021-01-05)
社区日报 • kin122 发表了文章 • 0 个评论 • 1307 次浏览 • 2022-01-05 09:53
社区日报 第1274期 (2021-12-08)
社区日报 • kin122 发表了文章 • 0 个评论 • 1287 次浏览 • 2021-12-08 10:37
filebeat采集日志到logstash每秒输出事件量遭到硬性限制(cpu和内存充足)
回复Beats • liuliugang 发起了问题 • 1 人关注 • 0 个回复 • 2771 次浏览 • 2021-05-21 15:49
logstash6.5.4 output 中的if判断不起作用
Logstash • xiaobai 回复了问题 • 5 人关注 • 5 个回复 • 3682 次浏览 • 2021-01-18 10:31
Logstash实例及pipeline的worker问题
Logstash • xiaoke 回复了问题 • 3 人关注 • 2 个回复 • 14179 次浏览 • 2020-09-27 11:27
请教大佬们 关于 logstash -w 属性
Logstash • zqc0512 回复了问题 • 3 人关注 • 1 个回复 • 2175 次浏览 • 2020-06-16 14:34
logstash-input-jdbc的last_run_metadata_path值不写入文件
Logstash • laoyang360 回复了问题 • 2 人关注 • 1 个回复 • 8521 次浏览 • 2020-03-02 17:03
logstash 可以同时应用多个filter,filter的顺序如何控制?
Logstash • silver9527 回复了问题 • 2 人关注 • 3 个回复 • 6405 次浏览 • 2020-01-06 16:00
filebeat 可以把日志的时间替换为默认的timestamp时间吗?
Beats • zgq25302111 回复了问题 • 3 人关注 • 2 个回复 • 5326 次浏览 • 2019-09-28 18:31
如何同时把多个apache网站的Metricbeat数据传输到Logstash并分别显示?
Logstash • medcl 回复了问题 • 4 人关注 • 1 个回复 • 2608 次浏览 • 2019-09-21 13:20
logstash 将mysql数据导入es 越来越慢
Logstash • Ombres 回复了问题 • 2 人关注 • 1 个回复 • 3512 次浏览 • 2019-09-10 09:17
logstash配置文件引起Pipeline aborted due to error的问题
回复Logstash • sailershen 回复了问题 • 1 人关注 • 1 个回复 • 7465 次浏览 • 2019-09-08 14:41
官网上启动logstash的docker镜像的问题
回复Logstash • sailershen 发起了问题 • 1 人关注 • 0 个回复 • 3166 次浏览 • 2019-09-07 12:06
【线下活动-分享主题征集-武汉】 2019年3月 Elastic&尚德机构技术沙龙
活动 • medcl 回复了问题 • 3 人关注 • 1 个回复 • 6380 次浏览 • 2019-02-22 15:42
filebeat采集日志到logstash每秒输出事件量遭到硬性限制(cpu和内存充足)
回复Beats • liuliugang 发起了问题 • 1 人关注 • 0 个回复 • 2771 次浏览 • 2021-05-21 15:49
logstash6.5.4 output 中的if判断不起作用
回复Logstash • xiaobai 回复了问题 • 5 人关注 • 5 个回复 • 3682 次浏览 • 2021-01-18 10:31
Logstash实例及pipeline的worker问题
回复Logstash • xiaoke 回复了问题 • 3 人关注 • 2 个回复 • 14179 次浏览 • 2020-09-27 11:27
logstash-input-jdbc的last_run_metadata_path值不写入文件
回复Logstash • laoyang360 回复了问题 • 2 人关注 • 1 个回复 • 8521 次浏览 • 2020-03-02 17:03
logstash 可以同时应用多个filter,filter的顺序如何控制?
回复Logstash • silver9527 回复了问题 • 2 人关注 • 3 个回复 • 6405 次浏览 • 2020-01-06 16:00
filebeat 可以把日志的时间替换为默认的timestamp时间吗?
回复Beats • zgq25302111 回复了问题 • 3 人关注 • 2 个回复 • 5326 次浏览 • 2019-09-28 18:31
如何同时把多个apache网站的Metricbeat数据传输到Logstash并分别显示?
回复Logstash • medcl 回复了问题 • 4 人关注 • 1 个回复 • 2608 次浏览 • 2019-09-21 13:20
logstash配置文件引起Pipeline aborted due to error的问题
回复Logstash • sailershen 回复了问题 • 1 人关注 • 1 个回复 • 7465 次浏览 • 2019-09-08 14:41
官网上启动logstash的docker镜像的问题
回复Logstash • sailershen 发起了问题 • 1 人关注 • 0 个回复 • 3166 次浏览 • 2019-09-07 12:06
Logstash应该往数据节点还是master节点发数据?
回复Logstash • xiaoyanghapi 回复了问题 • 7 人关注 • 6 个回复 • 4189 次浏览 • 2019-07-15 19:31
社区日报 第1307期 (2021-01-12)
社区日报 • kin122 发表了文章 • 0 个评论 • 1378 次浏览 • 2022-01-12 10:13
社区日报 第1300期 (2021-01-05)
社区日报 • kin122 发表了文章 • 0 个评论 • 1307 次浏览 • 2022-01-05 09:53
社区日报 第1274期 (2021-12-08)
社区日报 • kin122 发表了文章 • 0 个评论 • 1287 次浏览 • 2021-12-08 10:37
ELK 使用小技巧(第 1 期)
Elasticsearch • rochy 发表了文章 • 1 个评论 • 9234 次浏览 • 2018-10-27 19:16
ELK Tips 主要介绍一些 ELK 使用过程中的小技巧,内容主要来源为 Elastic 中文社区。
一、Logstash
1、Logstash 字符串分割(Split)
以下配置将 message
内容按照 \t
进行切分,为了使 \t
生效需要将 logstah.yml 中配置项 config.support_escapes
设置为 true,当设置为 true 时,带引号的字符串将处理转义字符,默认值为 false。
filter {
mutate {
split => {"message" => "\t"}
add_field => {
"ftimeold" => "%{[message][0]}"
}
}
}
2、Logstash 按文件读取内容并存储到 ES
下面的配置将读取/home/txts/*
下的文件,并读取整个文件内容,然后将文件内容存储到 test-text
索引中,同时该条记录的 _id
为文档的文件名。这里需要注意的是,想读取到文档末尾时,分隔符需设置为 EOF
。
input {
file {
path => ["/home/txts/*"]
start_position => "beginning"
mode => "read"
delimiter => "EOF"
file_completed_action => "log"
file_completed_log_path => "/home/logs/file.log"
}
}
output {
elasticsearch {
hosts => ["http://192.168.3.214:9200/"]
index => "test-text"
document_id => "%{path}"
}
stdout {}
}
3、ES Ingest Node 脚本案例
Ingest Node 可以使用多种过滤器对数据进行处理,其中 Script 脚本的功能非常强大,下面的案例实现了将一个 Json 结构进行了 Flat 化:
{
"script" : {
"lang" : "painless",
"source" : "def dict = ['result': new HashMap()]; for (entry in ctx['json'].entrySet()) { dict['result'][entry.getKey()] = entry.getValue(); } ctx['osquery'] = dict; ctx.remove('json');"
}
}
4、Logstash input file 插件中 sincedb 维护问题
- 如果不想保存 sincedb,可以使用下面配置:
sincedb_path => "/dev/null"
; - 如果希望被扫描的记录超过一段时间后自动被清除,可以使用
sincedb_clean_after => "2 weeks"
来实现,sincedb_clean_after
表示当一个文件在设定的时间内没有发生过任何变化,则关于这个文件的扫描记录将不会存储到 sincedb 里面,简单来说就是一条记录的过期时间。
二、Elasticsearch
1、ES 查询结果的一致性
为了保证用户每次查询结果的一致性(文档在结果中的顺序),可以在查询 url 里添加 preference=<some string>
这个参数,其中<some string>
可以是用户的 session ID,这样某一个用户查询的时候,查询会被固定在某几个 shard。
2、同义词的扩展或收缩
- 简单扩展,把同义词列表中的任意一个词扩展成同义词列表所有的词:
jump,hop,leap
; - 简单收缩,把左边的多个同义词映射到了右边的单个词:
leap,hop => jump
; - 类型扩展,完全不同于简单收缩或扩张,并不是平等看待所有的同义词,而是扩大了词的意义使被拓展的词更为通用:
"cat => cat,pet", "kitten => kitten,cat,pet", "dog => dog,pet" "puppy => puppy,dog,pet"
3、设置某个索引为只读状态
index.blocks.write
设置为 true 来禁止对索引的写操作,但索引的 metadatra 可以正常写。
PUT indexName/_settings
{
"index.blocks.write": true
}
4、Failed to process cluster event (put-mapping) within 30s
这个是创建 mapping 的时候超时了,默认是 30s 应该是集群处理不过来了。索引文件太多,使得集群的状态数据过多过大,在每个小时新建索引和设置索引 mapping 的时候,就产生集群状态更新任务交给 master 处理,master 在变更状态数据的时候是单线程处理的,如果集群总的状态数据很大,master处理这些任务就容易出现超时。
解决办法:
- 控制集群的总的索引数量,shard 数量;
- 如果同时创建的索引非常多,最好避免通过写入数据自动创建索引;
- 可以通过 cron 任务,预先顺序的创建好索引。
5、Get 查询获取不到数据,但是用 _search 就可以查询到
这种情况一般在索引时候加入了路由字段(routing),那么在 get,delete,update 操作中都必须使用路由字段。
PUT my_index/my_type/1?routing=user1&refresh=true
{
"title": "This is a document"
}
GET my_index/my_type/1?routing=user1
6、ES 5.X 版本多个 type 的数据迁移到 6.X
把 5.x 集群中的索引按不同 type 拆分 reindex 到 6.x 集群索引中,然后将拆分出来的多个索引使用别名进行组织;例如 5.x 集群中有索引 IndexA,该索引上有 typeA 和 typeB,reindex 到 6.x 集群IndexA_TypeA
和IndexB_TypeB
,reindex 语句如下所示:
POST _reindex
{
"source": {
"index": "IndexA",
"type": "TypeA",
"size": 10000
},
"dest": {
"index": "IndexA_TypeA"
}
}
最后给 6.x 集群的IndexA_TypeA
和IndexB_TypeB
添加别名 IndexA,用户查询时使用的索引名称就不用变化。
POST _aliases
{
"actions": [
{"add": {"index": "IndexA_TypeA", "alias": "IndexA"}},
{"add": {"index": "IndexA_TypeB", "alias": "IndexA"}}
]
}
7、reindex 将多个索引合并成一个索引,需要重新设置新索引的 mapping 吗?
需要在 reindex 之前为新索引重新设置 mapping ,reindex 只是通过类似 scroll 的方式把数据 bulk 到新的索引,不会自动同步原索引的 mappings 信息。
8、集群的 discovery.zen.ping.unicast.hosts 配置
只需要配置主节点(master)地址即可。
discovery.zen.ping.unicast.hosts:
- 192.168.1.10:9300
- 192.168.1.11
- seeds.mydomain.com
9、ES 的 path.data 配置多个盘的路径,查询效率与单个存储盘的效率比,哪个效率高些?
想最大程度发挥磁盘读写 io,还是推荐 RAID0。
使用多路径不一定会提升读写速度,和集群 shard 的数量有关系;主要是因为一个 shard 对应的文件,只会放到其中一块磁盘上,不会跨磁盘存储。比如一个极端的场景,集群 shard 数量比较少,每个结点上就一个shard,那么读写只会有一块磁盘发挥作用,其他磁盘都空闲的。
多路径对读写有提升比较大的场景,是每个结点上 shard 数量至少比盘的数量多,并且 shard 大小也差别不太多;shard 数量比较少,shard 大小差别太大,可能产生读写热点问题,即有的磁盘磁盘很忙,有的很闲。
ES 不会将一个索引的主副分片分配到同一台机器,所以即使一台机器的 RAID0 坏了,不会导致数据丢失,仅仅是副本没有了。
用 RAID0 的负面影响主要是磁盘损坏的时候,需要恢复的数据比较多;多路径磁盘,坏一块只会丢一部分数据,恢复数据会比较快;但是他也有缺陷,比如容易出现读写热点问题以及磁盘空间使用不均匀问题。
10、查询索引分片(Shard)位置的接口
# 推荐
GET /_cat/shards/<index_name>?v
GET /_cluster/state/routing_table
11、multi_match 与 match_phrase 的区别
- multi_match 是对
boolQuery().should(matchQuery(field, keyword))
的一种简化,简单说就是一个关键词,匹配多个字段,匹配方式为 matchQuery,正常的全文匹配。 - match_phrase 简单说就是要匹配一个短语,例如你输入的文本为:中国人,如果被分词为:中国/人,那么查找时候会在指定的字段先查找到 "中国" 这个 term,然后在 "中国" 这个 term 后面去查找 "人"这个term(有顺序要求),如果匹配到则认为匹配成功;所以更像是在匹配一个短语(连贯的句子)。
12、analyzer, tokenizer, token-filter 有什么区别
- analyzer :分析器,analyzer = 1 个 tokenizer + 若干个 token-filter;
- tokenizer :分词器,主要用于对文本进行切割;
- token-filter :过滤器,主要对 tokenizer 切割后的 term 进行再次处理。
13、_source 字段的用途
简单来说:_source 字段用于存储最原始的 JSON 文档内容(创建索引时传递的),这个字段不能被搜索,它可以在 get 或者 search 请求阶段进行返回;此外它会参与字段高亮计算、文档的更新等操作,一般不推荐关闭 _source 字段。
三、Kibana
1、kibana 表格默认排序
在设计表格的时候直接点击需要排序的那一列,然后让它按照倒序或者正序排序,然后点击保存即可,这样这个表格默认就是按照这一列倒序或者正序排列的。
Any Code,Code Any!
扫码关注『AnyCode』,编程路上,一起前行。