請教大家有人發生過logstash json filter 偶發性的發生jsonparsefailure 看_source json資料被截斷了
系統架構是k8s 掛filebeat -> redis -> logstash -> elasticsearch
有確認過k8s裡面的/var/log/containers裡面的log是沒有被截斷的，單獨放入logstash也都可以正常parse
log大小大約700k
k8s裡的filebeat是照官方給的這份下去修改
軟件版本: 7.6.2
系統架構是k8s 掛filebeat -> redis -> logstash -> elasticsearch
有確認過k8s裡面的/var/log/containers裡面的log是沒有被截斷的，單獨放入logstash也都可以正常parse
log大小大約700k
k8s裡的filebeat是照官方給的這份下去修改
apiVersion: v1
kind: ConfigMap
metadata:
name: filebeat-config
namespace: kube-system
labels:
k8s-app: filebeat
data:
filebeat.yml: |-
filebeat.inputs:
- type: container
paths:
- /var/log/containers/*.log
processors:
- add_kubernetes_metadata:
host: ${NODE_NAME}
matchers:
- logs_path:
logs_path: "/var/log/containers/"
processors:
- add_cloud_metadata:
- add_host_metadata:
output.redis:
hosts: ["redis:6379"]
key: "key"
db: 0
timeout: 5軟件版本: 7.6.2
4 个回复
medcl - 今晚打老虎。
赞同来自:
KenOrz
赞同来自:
k8s stdout log好像會把過長的log分段輸出
end:之後就中斷了
但是時候時壞不知道為什麼!
KenOrz
赞同来自:
KenOrz
赞同来自:
只有發生在日誌超過10M log rotation
elasticsearch 索引裡面只看到下半段!前半段的內容不見了