想收集应用日志，方便开发者在kibana中查询日志而不必去多台服务器上查询。目前计划采用filebeat->logstash->es这套流程
现状描述如下:
1.同一个机器下可以部署多个应用，对应多个目录，但并不是每个应用的日志都希望被收集的。
2.不同的应用的日志，我们希望放到不同的索引中展示，而不是全都混合到一起。
3.希望对使用者做权限，精确到索引级别。
那么针对上面的三个需求现状，我有相应的几个方案，也想请教大家：
问题1，可以通过filebeat的path配置多个目录，目录精确到应用日志，每当业务方需要上报一个应用的日志，就多配制一个应用日志目录。
问题2. 这个也是我想问的，logstash的output配置elasticsearch后，可以指定索引名和模板名，如何让做到设置不同的索引和模板，让我不同应用的日志走向不同的索引？
问题3. x-pack的security这块似乎还是收费的，只能找免费的searchguard试试看了。
针对以上的问题，大佬们有什么建议吗1
现状描述如下:
1.同一个机器下可以部署多个应用，对应多个目录，但并不是每个应用的日志都希望被收集的。
2.不同的应用的日志，我们希望放到不同的索引中展示，而不是全都混合到一起。
3.希望对使用者做权限，精确到索引级别。
那么针对上面的三个需求现状，我有相应的几个方案，也想请教大家：
问题1，可以通过filebeat的path配置多个目录，目录精确到应用日志，每当业务方需要上报一个应用的日志，就多配制一个应用日志目录。
问题2. 这个也是我想问的，logstash的output配置elasticsearch后，可以指定索引名和模板名，如何让做到设置不同的索引和模板，让我不同应用的日志走向不同的索引？
问题3. x-pack的security这块似乎还是收费的，只能找免费的searchguard试试看了。
针对以上的问题，大佬们有什么建议吗1
1 个回复
yayg2008
赞同来自:
1，日志采集；
采集各个机器上的原始日志；
2-ES搜索服务；
要求具备租户隔离、权限控制功能。
常见的方案是采集日志后输出到消费队列(比如kafka)，然后再消费，根据不通源配置不同目标；相当于有一个配置中心，有个开源产品streamset，可以看看。
权限控制的话，开源的就是searchguard了，也可以自己实现代理。