你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
发现
分享
文章
活动
登录
使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。
新人求助:LS+ES加中间件 和不加中间件的影响在哪里 ?有哪位前辈可以为我解惑一下么?
Logstash
| 作者
huasendounai
| 发布于2016年03月01日 | 阅读数:
5982
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
我现在打算将其运用在一个每天日志量大约10G的项目中,用6个LS节点直接读取文件往es内推,看很多文档,很多人都用了中间件为了提高性能。第一:性能的提示体现在何处?第二:加了中间件不会对实时有影响么》??会导致后续的日志如果按时间分析会出现偏差吧?希望前辈们能够详解一下。
没有找到相关结果
已邀请:
与内容相关的链接
提交
1 个回复
afeng
-
期待一个强大的监控系统
赞同来自:
你说的是中间的存储层吧,比如redis.
使用redis存储数据时,如果es或logstash服务端故障,故障期间客户端仍能够发送日志数据到redis,待服务端恢复后,历史还可以写入到ES中。
关于实时分析中的时间字段,如果使用@Timestamp作为实时时间则使用中间存储可以获取到正确的时间,因为这个时间是客户端收集数据的时间,如果没有存储当服务端故障,客户端收集数据会延迟,得到的时间也是延迟的。
时间字段建议使用日志中的时间字段,比如logtime,即使数据延迟收集也能对应到正确的时间点儿上。
中间存储的影响:看你的数据量有多大,比如使用redis的队列,队列的存取速度都有上限,这里很可能成为瓶颈。所以使用的话建议不同的节点使用不同的key来存储日志队列,甚至是一个节点启动多个客户端使用不同的队列处理不同的日志文件。服务端logstash只需要配置多个input即可,如果服务端处理不过来也可以使用相同的服务端配置文件启动多个服务端进程。
要回复问题请先
登录
或
注册
发起人
huasendounai
活动推荐
Jun
17
搜索客 Meetup 讲师招募(长期有效)
线上
·
6-17 周一
·
进行中
Dec
28
2024 OSC源创会年终盛典 启程在即,我们在珠海等你!
珠海市
·
12-28 周六
·
报名中
相关问题
问一下,elasticsearch-dsl中用什么方法去除字段相同的数据?
【求助】ES集群大量数据存储问题
新人求问,java中如何优雅的使用es呢
大神们好。我想问一下身份证号码这种类型的数据,怎样才能使用模糊查询呢?在不适用wildcard的情况下有没有其它第二种方式?
哪位大神求告知elasticsearch5.X版本线程池Thread_pool的参数设置?
请问一下:logstash 消费kafka的消息,如何解决反序列化问题。能够引入jar 包序列化类么?
请问一下关于分组后所有桶的数量的统计问题
Elasticsearch集群规划求助
讨论一下ES的cache的作用?
本来集群好好的,突然连接master失败,有大神能给指点一下方向吗?
合并查询多个索引时速度很慢,希望各位提供一下优化思路
问题状态
最新活动:
2016-03-01 14:29
浏览:
5982
关注:
3
人
1 个回复
afeng - 期待一个强大的监控系统
赞同来自:
使用redis存储数据时,如果es或logstash服务端故障,故障期间客户端仍能够发送日志数据到redis,待服务端恢复后,历史还可以写入到ES中。
关于实时分析中的时间字段,如果使用@Timestamp作为实时时间则使用中间存储可以获取到正确的时间,因为这个时间是客户端收集数据的时间,如果没有存储当服务端故障,客户端收集数据会延迟,得到的时间也是延迟的。
时间字段建议使用日志中的时间字段,比如logtime,即使数据延迟收集也能对应到正确的时间点儿上。
中间存储的影响:看你的数据量有多大,比如使用redis的队列,队列的存取速度都有上限,这里很可能成为瓶颈。所以使用的话建议不同的节点使用不同的key来存储日志队列,甚至是一个节点启动多个客户端使用不同的队列处理不同的日志文件。服务端logstash只需要配置多个input即可,如果服务端处理不过来也可以使用相同的服务端配置文件启动多个服务端进程。