找到问题的解决办法了么?

logstash怎么把csv文件中的x列和y列编程geo_shape的point导入es集群中

最近开始研究elasticsearch例如添加geo_hash类型的坐标是这样的

filter { 
    mutate { 
        add_field => {"location" => "%{y},%{x}"}  --把x,y变为location属性,类型为geohash
remove_field => ["@version","@timestamp","qsdwmc","gldwmc","bz","sjly","rksj","guid","clsj"," czsj","x","y","mjzrq","gxsj"]
    } 
}
 
但是我看了官网上的例子:
 PUT /example
{
    "mappings": {
        "doc": {
            "properties": {
                "location": {
                    "type": "geo_shape"
                }
            }
        }
    }
}
POST /example/doc?refresh
{
    "name": "Wind & Wetter, Berlin, Germany",
    "location": {
        "type": "point",
        "coordinates": [13.400544, 52.530286]
    }
}
 
请问各位大佬通过logstash怎么添加这样子的location的属性,type为point,然后还有个coordinates数组
继续阅读 »
最近开始研究elasticsearch例如添加geo_hash类型的坐标是这样的

filter { 
    mutate { 
        add_field => {"location" => "%{y},%{x}"}  --把x,y变为location属性,类型为geohash
remove_field => ["@version","@timestamp","qsdwmc","gldwmc","bz","sjly","rksj","guid","clsj"," czsj","x","y","mjzrq","gxsj"]
    } 
}
 
但是我看了官网上的例子:
 PUT /example
{
    "mappings": {
        "doc": {
            "properties": {
                "location": {
                    "type": "geo_shape"
                }
            }
        }
    }
}
POST /example/doc?refresh
{
    "name": "Wind & Wetter, Berlin, Germany",
    "location": {
        "type": "point",
        "coordinates": [13.400544, 52.530286]
    }
}
 
请问各位大佬通过logstash怎么添加这样子的location的属性,type为point,然后还有个coordinates数组 收起阅读 »

社区日报 第427期 (2018-10-24)

1. 牢记这7点,技术小白也能玩转 Elasticsearch 
http://t.cn/EvTWYdA
2. Elasticsearch Nested类型深入详解
http://t.cn/EZ2j4Gh
3. Elasticsearch 的滚动(scroll)
http://t.cn/R34TnrJ
 
祝大家 1024 节日快乐
 
编辑:江水
归档:https://elasticsearch.cn/article/1000
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 牢记这7点,技术小白也能玩转 Elasticsearch 
http://t.cn/EvTWYdA
2. Elasticsearch Nested类型深入详解
http://t.cn/EZ2j4Gh
3. Elasticsearch 的滚动(scroll)
http://t.cn/R34TnrJ
 
祝大家 1024 节日快乐
 
编辑:江水
归档:https://elasticsearch.cn/article/1000
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第426期 (2018-10-23)

1.使用Elasticsearch和Neo4j进行知识图搜索
http://t.cn/EzrbU56
2、Elasticsearch关于data那些事。
http://t.cn/EzrG7Ue
3.手把手教你搭建一个 Elasticsearch 集群
http://t.cn/EzrbPYA

编辑:叮咚光军
归档:https://elasticsearch.cn/article/999
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.使用Elasticsearch和Neo4j进行知识图搜索
http://t.cn/EzrbU56
2、Elasticsearch关于data那些事。
http://t.cn/EzrG7Ue
3.手把手教你搭建一个 Elasticsearch 集群
http://t.cn/EzrbPYA

编辑:叮咚光军
归档:https://elasticsearch.cn/article/999
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第425期 (2018-10-22)

1. 了解elasticsearch开源代码开发流程
http://t.cn/EzEHZcs

2. 如何高效率在grafana中使用elasticsearch 数据源以及避免一些常见的陷阱
http://t.cn/EzERBsL

3. 全球权威数据库排名网站,帮助你了解各种db,es目前排在第八位,前十中唯一的搜索引擎
http://t.cn/RSbV39S

编辑:cyberdak
归档:https://elasticsearch.cn/article/998
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 了解elasticsearch开源代码开发流程
http://t.cn/EzEHZcs

2. 如何高效率在grafana中使用elasticsearch 数据源以及避免一些常见的陷阱
http://t.cn/EzERBsL

3. 全球权威数据库排名网站,帮助你了解各种db,es目前排在第八位,前十中唯一的搜索引擎
http://t.cn/RSbV39S

编辑:cyberdak
归档:https://elasticsearch.cn/article/998
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic 社区电台 第六期,嘉宾:韩炳海、蔡国兴@神州泰岳

banner.jpg

欢迎来到 Elastic 社区电台的第六期节目,本期节目我们来到了位于北京的神州泰岳研发中心。神州泰岳在国内 IT 运维管理市场上拥有相当广泛的客户群,覆盖电信、金融、政府、能源、交通等行业,是国内领先的 IT 运维管理软件开发商、解决方案提供商和服务提供商。神州泰岳及其下属子公司大量使用了 Elastic Stack 来解决多个业务场景下的多种需求,这期的节目我们请来了神州泰岳 IT 监控产品线和应用产品线的两位总监来给大家带来分享,快来收听本期节目了解他们具体是如何使用 Elasticsearch 的吧。

嘉宾:

蔡国兴,北京神州泰岳软件股份有限公司研发中心 IT 监控产品线副总监,现致力于网络管理类产品建设和解决方案的提供。 韩炳海,神州泰岳研发中心应用产品线研发总监,有十几年的研发经历,现聚焦APM、微服务领域。

主持人:

Elastic 技术布道师,曾勇(Medcl)。

可以点击下面的任意链接来收听(时长约 50 分钟):

关于神州泰岳

神州泰岳是国内领先的综合类软件产品及服务提供商,着力于用信息技术手段推动行业发展和社会进步,提升人们工作和生活品质。自公司成立以来,始终以市场为导向,深耕细作、创新拓展,形成了以“ICT运营管理”、“手机游戏”、“人工智能与大数据”、“物联网与通讯技术应用”为核心的相关多元化发展格局。

关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。

继续阅读 »

banner.jpg

欢迎来到 Elastic 社区电台的第六期节目,本期节目我们来到了位于北京的神州泰岳研发中心。神州泰岳在国内 IT 运维管理市场上拥有相当广泛的客户群,覆盖电信、金融、政府、能源、交通等行业,是国内领先的 IT 运维管理软件开发商、解决方案提供商和服务提供商。神州泰岳及其下属子公司大量使用了 Elastic Stack 来解决多个业务场景下的多种需求,这期的节目我们请来了神州泰岳 IT 监控产品线和应用产品线的两位总监来给大家带来分享,快来收听本期节目了解他们具体是如何使用 Elasticsearch 的吧。

嘉宾:

蔡国兴,北京神州泰岳软件股份有限公司研发中心 IT 监控产品线副总监,现致力于网络管理类产品建设和解决方案的提供。 韩炳海,神州泰岳研发中心应用产品线研发总监,有十几年的研发经历,现聚焦APM、微服务领域。

主持人:

Elastic 技术布道师,曾勇(Medcl)。

可以点击下面的任意链接来收听(时长约 50 分钟):

关于神州泰岳

神州泰岳是国内领先的综合类软件产品及服务提供商,着力于用信息技术手段推动行业发展和社会进步,提升人们工作和生活品质。自公司成立以来,始终以市场为导向,深耕细作、创新拓展,形成了以“ICT运营管理”、“手机游戏”、“人工智能与大数据”、“物联网与通讯技术应用”为核心的相关多元化发展格局。

关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。

收起阅读 »

社区日报 第424期 (2018-10-21)

1.Logstash和Elasticsearch 集成。
http://t.cn/EzYLgoO
2.如何在Logstash中设置Elasticsearch输出模板。
http://t.cn/EzYLx6u
3.(自备梯子)怎样真正成为高级开发人员。
http://t.cn/EzYyl2E

编辑:至尊宝
归档:https://elasticsearch.cn/article/996
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Logstash和Elasticsearch 集成。
http://t.cn/EzYLgoO
2.如何在Logstash中设置Elasticsearch输出模板。
http://t.cn/EzYLx6u
3.(自备梯子)怎样真正成为高级开发人员。
http://t.cn/EzYyl2E

编辑:至尊宝
归档:https://elasticsearch.cn/article/996
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第423期 (2018-10-20)

  1. es是不同文档id的优劣比较。 http://t.cn/EzXShwh  

  2. significant_terms和significant_text聚合详解。 http://t.cn/EzXdu8T 

  3. 一周热点:github年度报告发布。 http://t.cn/EzXZ9qF 
继续阅读 »
  1. es是不同文档id的优劣比较。 http://t.cn/EzXShwh  

  2. significant_terms和significant_text聚合详解。 http://t.cn/EzXdu8T 

  3. 一周热点:github年度报告发布。 http://t.cn/EzXZ9qF 
收起阅读 »

社区日报 第422期 (2018-10-19)

1.spring boo boot + Elasticsearch6.4X案例分享
http://t.cn/EheomUZ
2.Elasticsearcharch .Net Demo源码
http://t.cn/EzISlJk
3.Eleaticsearcharch源码分析文档落地解读
http://t.cn/EzIoSXK

编辑:铭毅天下
归档:https://elasticsearch.cn/article/994
订阅: https://tinyletter.com/elastic-daily
继续阅读 »
1.spring boo boot + Elasticsearch6.4X案例分享
http://t.cn/EheomUZ
2.Elasticsearcharch .Net Demo源码
http://t.cn/EzISlJk
3.Eleaticsearcharch源码分析文档落地解读
http://t.cn/EzIoSXK

编辑:铭毅天下
归档:https://elasticsearch.cn/article/994
订阅: https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第421期 (2018-10-18)

1.Elasticsearch聚合优化
http://t.cn/R8WIKta
2.searchguard-6的安装和配置
http://t.cn/EzV6KoO
3.Lucene就是这么简单
http://t.cn/EvcvMy1

编辑:金桥
归档:https://elasticsearch.cn/article/993
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Elasticsearch聚合优化
http://t.cn/R8WIKta
2.searchguard-6的安装和配置
http://t.cn/EzV6KoO
3.Lucene就是这么简单
http://t.cn/EvcvMy1

编辑:金桥
归档:https://elasticsearch.cn/article/993
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

【线下活动 - 分享主题征集 - 上海】2018 Elastic & 东方航空大数据技术沙龙

Elastic中文社区联合东方航空公司,将于2018年12月08日,在上海举办一次线下技术交流活动。 本次活动交流内容不限于Elastic Stack,可以是搜索、推荐、机器学习、商业智能、智能运维等任意大数据相关技术的最佳应用实践。 活动分享主题正?征集中! 
 
有意参与本次主题分享的同学,请发送邮件至kennywu76@outlook.com,并提供如下信息:
  1. 个人简介
  2. 分享主题
  3. 内容提纲

 
为确保本次活动的紧凑,分享主题将控制在5个以内。 部分同学提交的内容可能无法安排进本次活动日程,但我们将保留所有提交的主题,并尽力安排在后续的线下活动进行分享 。
 
征集截止时间:  2018年11月10日
活动时间:  2018年12月08日(暂定)
活动地址:  东航城(上海市闵行区虹翔三路)
 
欢迎社区同学踊跃报名,期待你的分享!
继续阅读 »
Elastic中文社区联合东方航空公司,将于2018年12月08日,在上海举办一次线下技术交流活动。 本次活动交流内容不限于Elastic Stack,可以是搜索、推荐、机器学习、商业智能、智能运维等任意大数据相关技术的最佳应用实践。 活动分享主题正?征集中! 
 
有意参与本次主题分享的同学,请发送邮件至kennywu76@outlook.com,并提供如下信息:
  1. 个人简介
  2. 分享主题
  3. 内容提纲

 
为确保本次活动的紧凑,分享主题将控制在5个以内。 部分同学提交的内容可能无法安排进本次活动日程,但我们将保留所有提交的主题,并尽力安排在后续的线下活动进行分享 。
 
征集截止时间:  2018年11月10日
活动时间:  2018年12月08日(暂定)
活动地址:  东航城(上海市闵行区虹翔三路)
 
欢迎社区同学踊跃报名,期待你的分享! 收起阅读 »

社区日报 第420期 (2018-10-17)

1. ElasticSearch源码解析之启动流程
i、http://t.cn/EzUc7ox
ii、http://t.cn/EzUcOoL
2. Elasticsearch聚合优化 | 聚合速度提升5倍
http://t.cn/EzUx0rX
3. Elastic 社区电台 第五期,嘉宾:李啸、张振风@趋势科技
https://elasticsearch.cn/article/990

编辑:wt
归档:https://elasticsearch.cn/article/991
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. ElasticSearch源码解析之启动流程
i、http://t.cn/EzUc7ox
ii、http://t.cn/EzUcOoL
2. Elasticsearch聚合优化 | 聚合速度提升5倍
http://t.cn/EzUx0rX
3. Elastic 社区电台 第五期,嘉宾:李啸、张振风@趋势科技
https://elasticsearch.cn/article/990

编辑:wt
归档:https://elasticsearch.cn/article/991
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic 社区电台 第五期,嘉宾:李啸、张振风@趋势科技

podcast2.jpg

 欢迎来到 Elastic 社区电台的第五期节目,本期分享嘉宾邀请来自位于南京的趋势科技中国研发中心。趋势科技是网络安全软件及服务领域的全球领导者。趋势科技深度的使用了 Elastic Stack 来解决多个业务场景下的多种需求,目前部署共超过 8 个集群,单个最大集群承载了上百个 TB 的业务数据。比如在病毒样本的分析场景,通过使用 Elasticsearch 来构建的病毒特征库,比之前的方案更快更高效。另外移动端手机 APP 行为数据的安全分析以及趋势内部应用的日志分析也都是使用的 Elasticsearch 来完成的。想要了解更多详情,快来收听本期节目来吧。


嘉宾:
李啸(white), 目前就职于趋势科技中国研发中心,担任 staff software engineer一职,2012 年接触 elk 技术,7 年分布式系统开发,devops 经验,目前主要从事移动病毒大数据分析平台系统研发工作。

张振风(houper), 趋势高级研发工程师,从事 big data 相关工作,自 2015 年起接触和关注 elastic 技术。

主持人:
Elastic 技术布道师,曾勇(Medcl)。


可以点击下面的任意链接来收听(时长约 50 分钟):

Apple iTunes: https://itunes.apple.com/cn/po ... t%3D2
喜马拉雅:https://www.ximalaya.com/keji/14965410/124736791
蜻蜓 FM:https://www.qingting.fm/channe ... 17402

关于趋势科技

趋势科技——网络安全软件及服务领域的全球领导者,以卓越的前瞻和技术革新能力引领了从桌面防毒到网络服务器和网关防毒的潮流,以独特的服务理念向业界证明了趋势科技的前瞻性和领导地位。总部位于日本东京和美国硅谷,在38个国家和地区设有分公司,拥有7 个全球研发中心,员工总数超过4000人。


关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。

podcast_trendmicro_banner720x420.jpg

 
继续阅读 »
podcast2.jpg

 欢迎来到 Elastic 社区电台的第五期节目,本期分享嘉宾邀请来自位于南京的趋势科技中国研发中心。趋势科技是网络安全软件及服务领域的全球领导者。趋势科技深度的使用了 Elastic Stack 来解决多个业务场景下的多种需求,目前部署共超过 8 个集群,单个最大集群承载了上百个 TB 的业务数据。比如在病毒样本的分析场景,通过使用 Elasticsearch 来构建的病毒特征库,比之前的方案更快更高效。另外移动端手机 APP 行为数据的安全分析以及趋势内部应用的日志分析也都是使用的 Elasticsearch 来完成的。想要了解更多详情,快来收听本期节目来吧。


嘉宾:
李啸(white), 目前就职于趋势科技中国研发中心,担任 staff software engineer一职,2012 年接触 elk 技术,7 年分布式系统开发,devops 经验,目前主要从事移动病毒大数据分析平台系统研发工作。

张振风(houper), 趋势高级研发工程师,从事 big data 相关工作,自 2015 年起接触和关注 elastic 技术。

主持人:
Elastic 技术布道师,曾勇(Medcl)。


可以点击下面的任意链接来收听(时长约 50 分钟):

Apple iTunes: https://itunes.apple.com/cn/po ... t%3D2
喜马拉雅:https://www.ximalaya.com/keji/14965410/124736791
蜻蜓 FM:https://www.qingting.fm/channe ... 17402

关于趋势科技

趋势科技——网络安全软件及服务领域的全球领导者,以卓越的前瞻和技术革新能力引领了从桌面防毒到网络服务器和网关防毒的潮流,以独特的服务理念向业界证明了趋势科技的前瞻性和领导地位。总部位于日本东京和美国硅谷,在38个国家和地区设有分公司,拥有7 个全球研发中心,员工总数超过4000人。


关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。

podcast_trendmicro_banner720x420.jpg

  收起阅读 »

社区日报 第419期 (2018-10-16)

1.为什么Elasticsearch查询变慢了
http://t.cn/E73NIrD
2.Elasticsearch技术分享--基于5.1.1
http://t.cn/E73N9xX
3.ubuntu下EFK(elasticsearch+fluentd+kibana)的搭建和使用
http://t.cn/E73NHkW

活动预告:
1、Elastic 官方开发者认证现场考试+ Elastic 开发者大会 VIP 门票
https://elasticsearch.cn/article/827

编辑:叮咚光军
归档:https://elasticsearch.cn/article/832
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.为什么Elasticsearch查询变慢了
http://t.cn/E73NIrD
2.Elasticsearch技术分享--基于5.1.1
http://t.cn/E73N9xX
3.ubuntu下EFK(elasticsearch+fluentd+kibana)的搭建和使用
http://t.cn/E73NHkW

活动预告:
1、Elastic 官方开发者认证现场考试+ Elastic 开发者大会 VIP 门票
https://elasticsearch.cn/article/827

编辑:叮咚光军
归档:https://elasticsearch.cn/article/832
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第418期 (2018-10-15)

1、kibana canvas 初步入门指南。
http://t.cn/E78MvKs

2.图数据库的发展
http://t.cn/E78097R

3. Elasticsearch和MongoDB分片及高可用对比
http://t.cn/E78johf

活动预告
1、Elastic 中国开发者大会门票发售中,庆祝上市,抢半价门票
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:cyberdak
归档:https://elasticsearch.cn/article/{}
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1、kibana canvas 初步入门指南。
http://t.cn/E78MvKs

2.图数据库的发展
http://t.cn/E78097R

3. Elasticsearch和MongoDB分片及高可用对比
http://t.cn/E78johf

活动预告
1、Elastic 中国开发者大会门票发售中,庆祝上市,抢半价门票
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:cyberdak
归档:https://elasticsearch.cn/article/{}
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第417期 (2018-10-14)

1.使用Amazon Cognito进行Kibana访问控制。
http://t.cn/E7WTASh
2.使用GuardDuty实时监控您的安全性。
http://t.cn/E7WTpbr
3.(自备梯子)如何理解任何编程任务。
http://t.cn/EhkDGBF

活动预告:
1、Elastic 官方开发者认证现场考试+ Elastic 开发者大会 VIP 门票
https://elasticsearch.cn/article/827

编辑:至尊宝
归档:https://elasticsearch.cn/article/830
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.使用Amazon Cognito进行Kibana访问控制。
http://t.cn/E7WTASh
2.使用GuardDuty实时监控您的安全性。
http://t.cn/E7WTpbr
3.(自备梯子)如何理解任何编程任务。
http://t.cn/EhkDGBF

活动预告:
1、Elastic 官方开发者认证现场考试+ Elastic 开发者大会 VIP 门票
https://elasticsearch.cn/article/827

编辑:至尊宝
归档:https://elasticsearch.cn/article/830
订阅:https://tinyletter.com/elastic-daily 收起阅读 »