居然是你

logstash date不支持BJT时区


人生日历截图20171218102703.png

收集网络设备的日志,但是格式不统一,很苦恼,而且仅仅时间戳格式就有快10种不同格式,测试发现date不支持BJT时区

人生日历截图20171218102703.png

收集网络设备的日志,但是格式不统一,很苦恼,而且仅仅时间戳格式就有快10种不同格式,测试发现date不支持BJT时区

社区日报 第134期 (2017-12-18)

1.Elastic 现在提供14天的ELK Stack云服务试用,还在犹豫不决的同学快来体验吧。
http://t.cn/RTlWVit

2.filebeat 5.X关于使用通配符的性能讨论。
http://t.cn/RTlEsRp

3.(英语)Elastic Advent Calendar, Day 17:  运维Elastic Cloud Enterprise的各种要点
http://t.cn/RTlTIYF 

编辑:cyberdak
归档:https://elasticsearch.cn/article/423
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.Elastic 现在提供14天的ELK Stack云服务试用,还在犹豫不决的同学快来体验吧。
http://t.cn/RTlWVit

2.filebeat 5.X关于使用通配符的性能讨论。
http://t.cn/RTlEsRp

3.(英语)Elastic Advent Calendar, Day 17:  运维Elastic Cloud Enterprise的各种要点
http://t.cn/RTlTIYF 

编辑:cyberdak
归档:https://elasticsearch.cn/article/423
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第133期 (2017-12-17)

1.使用ELK监控OpenStack。
http://t.cn/RTpfMIR
2.(自备梯子)在Kubernetes上使用ELK记录日志。
http://t.cn/RTpMOnw
3.(自备梯子)算法是新的药物。
http://t.cn/RTpiSiE
4.(法语)Elastic Advent Calendar, Day 16:  Elasticsearch插件的测试表现
http://t.cn/RTpJjwF

编辑:至尊宝
归档:https://elasticsearch.cn/article/422
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.使用ELK监控OpenStack。
http://t.cn/RTpfMIR
2.(自备梯子)在Kubernetes上使用ELK记录日志。
http://t.cn/RTpMOnw
3.(自备梯子)算法是新的药物。
http://t.cn/RTpiSiE
4.(法语)Elastic Advent Calendar, Day 16:  Elasticsearch插件的测试表现
http://t.cn/RTpJjwF

编辑:至尊宝
归档:https://elasticsearch.cn/article/422
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

elasticsearch批量导入数据注意事项


刚刚初始化启动kiabna后是没有索引的,当然,如果elasticsearch中导入过数据那么kibana会自动匹配索引
现在按照官方例子开始批量给elasticsearch导入数据
链接如下https://www.elastic.co/guide/e ... .html
我们会依次导入如下 三块数据 
1.The Shakespeare data 莎士比亚文集的数据结构


{
    "line_id": INT,
    "play_name": "String",
    "speech_number": INT,
    "line_number": "String",
    "speaker": "String",
    "text_entry": "String",
}
2.The accounts data  账户数据结构


{
    "account_number": INT,
    "balance": INT,
    "firstname": "String",
    "lastname": "String",
    "age": INT,
    "gender": "M or F",
    "address": "String",
    "employer": "String",
    "email": "String",
    "city": "String",
    "state": "String"
}
3.The schema for the logs data 日志数据


{
    "memory": INT,
    "geo.coordinates": "geo_point"
    "@timestamp": "date"
}
然后向elasticsearch设置字段映射
Use the following command in a terminal (eg bash) to set up a mapping for the Shakespeare data set:
以下是莎士比亚的字段映射 可以用postman或者curl等发出请求~完整的url应该是localhost:9200/shakespear
PUT /shakespeare
{
 "mappings": {
  "doc": {
   "properties": {
    "speaker": {"type": "keyword"},
    "play_name": {"type": "keyword"},
    "line_id": {"type": "integer"},
    "speech_number": {"type": "integer"}
   }
  }
 }
}
Use the following commands to establish geo_point mapping for the logs:
这是 logs的字段映射
PUT /logstash-2015.05.18
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}
 
PUT /logstash-2015.05.19
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}
COPY AS CURLVIEW IN CONSOLE 
PUT /logstash-2015.05.20
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}
账户信息没有字段映射。。。
现在批量导入
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.json
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/shakespeare/doc/_bulk?pretty' --data-binary @shakespeare_6.0.json
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/_bulk?pretty' --data-binary @logs.jsonl
windows下的curl命令可以到https://curl.haxx.se/download.html#Win64下载,解压后设置环境变量即可
这里要注意的是 @accounts.json,@shakespeare_6.0.json,@logs.json这些文件的位置应该是你所在的当前目录,
如果你当前位置是D盘~那么这些文件位置就要放在D盘下,否则读不到
还有一点~~~windows下要把命令行中的单引号换成双引号,,。。。否则会报
curl: (6) Could not resolve host: application这样的错误


 
继续阅读 »

刚刚初始化启动kiabna后是没有索引的,当然,如果elasticsearch中导入过数据那么kibana会自动匹配索引
现在按照官方例子开始批量给elasticsearch导入数据
链接如下https://www.elastic.co/guide/e ... .html
我们会依次导入如下 三块数据 
1.The Shakespeare data 莎士比亚文集的数据结构


{
    "line_id": INT,
    "play_name": "String",
    "speech_number": INT,
    "line_number": "String",
    "speaker": "String",
    "text_entry": "String",
}
2.The accounts data  账户数据结构


{
    "account_number": INT,
    "balance": INT,
    "firstname": "String",
    "lastname": "String",
    "age": INT,
    "gender": "M or F",
    "address": "String",
    "employer": "String",
    "email": "String",
    "city": "String",
    "state": "String"
}
3.The schema for the logs data 日志数据


{
    "memory": INT,
    "geo.coordinates": "geo_point"
    "@timestamp": "date"
}
然后向elasticsearch设置字段映射
Use the following command in a terminal (eg bash) to set up a mapping for the Shakespeare data set:
以下是莎士比亚的字段映射 可以用postman或者curl等发出请求~完整的url应该是localhost:9200/shakespear
PUT /shakespeare
{
 "mappings": {
  "doc": {
   "properties": {
    "speaker": {"type": "keyword"},
    "play_name": {"type": "keyword"},
    "line_id": {"type": "integer"},
    "speech_number": {"type": "integer"}
   }
  }
 }
}
Use the following commands to establish geo_point mapping for the logs:
这是 logs的字段映射
PUT /logstash-2015.05.18
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}
 
PUT /logstash-2015.05.19
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}
COPY AS CURLVIEW IN CONSOLE 
PUT /logstash-2015.05.20
{
  "mappings": {
    "log": {
      "properties": {
        "geo": {
          "properties": {
            "coordinates": {
              "type": "geo_point"
            }
          }
        }
      }
    }
  }
}
账户信息没有字段映射。。。
现在批量导入
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.json
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/shakespeare/doc/_bulk?pretty' --data-binary @shakespeare_6.0.json
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/_bulk?pretty' --data-binary @logs.jsonl
windows下的curl命令可以到https://curl.haxx.se/download.html#Win64下载,解压后设置环境变量即可
这里要注意的是 @accounts.json,@shakespeare_6.0.json,@logs.json这些文件的位置应该是你所在的当前目录,
如果你当前位置是D盘~那么这些文件位置就要放在D盘下,否则读不到
还有一点~~~windows下要把命令行中的单引号换成双引号,,。。。否则会报
curl: (6) Could not resolve host: application这样的错误


  收起阅读 »

]kibana源码修改(一)webpack初始化爬坑

最近想研究kibana源码,看看他的可视化部分的实现,花了两天才把webpack初始化成功,其中的出现的问题就是在平常看来很正常的一步,导致我卡了很久




(一)选择master分支 下载到本地 https://github.com/elastic/kibana.git,不过貌似选不选分支都一样,我选了个5.2版本的下到本地还是最新版的7.0alpha版

(二) 切到kibana目录下 运行npm install.....

在这里我为了图快。。。用了淘宝镜像cnpm install.....然后坑爹的事情发生了~~~~~安装成功运行下一步 npm run elasticsearch的时候开始无尽的报

错。。。。都是依赖找不到。。然后安装对应依赖后又出现其他依赖找不到的情况。。。重复几次还是不行。。后来幸亏钉钉群里的大牛们告诉我要严格按照

CONTRIBUTING.md 这里的步骤来。。然后 我删掉来项目 重新 按照文档步骤来 果然 一步到位~~~~~直接npm install哦




微信图片_20171216221636.png









(三)然后就可以运行  npm run elasticsearch  是的不用去官网再下elasticsearch的可执行文件了,这时会出现以下cluster的下载信息,这个等待时间会很长。。可以先干点别的事情去:) 

微信图片_20171216221355.png


(四)node scripts/makelogs這步没啥好说的。。。。

(五)在config/kibana.yml中加上:optimize.enabled:false..加上这句的原因为了时时看到源码修改后页面的结果

     因为修改之前服务是优先使用bundle.js内容,而不会每次都进到各源码目录执行,这样的话每次该源码是不会看到kibana页面有变化的。。

(六)运行 npm run start 开始改代码吧
继续阅读 »
最近想研究kibana源码,看看他的可视化部分的实现,花了两天才把webpack初始化成功,其中的出现的问题就是在平常看来很正常的一步,导致我卡了很久




(一)选择master分支 下载到本地 https://github.com/elastic/kibana.git,不过貌似选不选分支都一样,我选了个5.2版本的下到本地还是最新版的7.0alpha版

(二) 切到kibana目录下 运行npm install.....

在这里我为了图快。。。用了淘宝镜像cnpm install.....然后坑爹的事情发生了~~~~~安装成功运行下一步 npm run elasticsearch的时候开始无尽的报

错。。。。都是依赖找不到。。然后安装对应依赖后又出现其他依赖找不到的情况。。。重复几次还是不行。。后来幸亏钉钉群里的大牛们告诉我要严格按照

CONTRIBUTING.md 这里的步骤来。。然后 我删掉来项目 重新 按照文档步骤来 果然 一步到位~~~~~直接npm install哦




微信图片_20171216221636.png









(三)然后就可以运行  npm run elasticsearch  是的不用去官网再下elasticsearch的可执行文件了,这时会出现以下cluster的下载信息,这个等待时间会很长。。可以先干点别的事情去:) 

微信图片_20171216221355.png


(四)node scripts/makelogs這步没啥好说的。。。。

(五)在config/kibana.yml中加上:optimize.enabled:false..加上这句的原因为了时时看到源码修改后页面的结果

     因为修改之前服务是优先使用bundle.js内容,而不会每次都进到各源码目录执行,这样的话每次该源码是不会看到kibana页面有变化的。。

(六)运行 npm run start 开始改代码吧 收起阅读 »

社区日报 第132期 (2017-12-16)

1、使用es-hadoop从es导入数据到hive
http://t.cn/RToSes4
2、推荐一篇社区文章:如何更优雅的定制开发elasicsearch插件
https://elasticsearch.cn/article/339
3、Elastic Stack 6.1.0已发布
http://t.cn/RTonvjK
4、Elastic Advent Calendar, Day 15:ES升级到6.0以后,只支持单type,如何利用reindex和script将多type数据导入到集群?
http://t.cn/RToWb4Z
5、Elastic Meetup 深圳交流会
https://elasticsearch.cn/article/406 

编辑:bsll
归档:https://elasticsearch.cn/article/419
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、使用es-hadoop从es导入数据到hive
http://t.cn/RToSes4
2、推荐一篇社区文章:如何更优雅的定制开发elasicsearch插件
https://elasticsearch.cn/article/339
3、Elastic Stack 6.1.0已发布
http://t.cn/RTonvjK
4、Elastic Advent Calendar, Day 15:ES升级到6.0以后,只支持单type,如何利用reindex和script将多type数据导入到集群?
http://t.cn/RToWb4Z
5、Elastic Meetup 深圳交流会
https://elasticsearch.cn/article/406 

编辑:bsll
归档:https://elasticsearch.cn/article/419
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第131期 (2017-12-15)

1、尝鲜|Kibana Canvas 新特性体验
http://t.cn/RTXWZeN
2、kafka导入ElasticSearch实践第二弹
http://t.cn/RT6wGgG
3、Elasticsearch在云平台使用指南
http://t.cn/RYDVunk
4、[日文]用Analyze API了解倒排索引和文本分析
http://t.cn/RT6y399

编辑:铭毅天下
归档:https://elasticsearch.cn/article/418
订阅: https://tinyletter.com/elastic-daily
 
继续阅读 »
1、尝鲜|Kibana Canvas 新特性体验
http://t.cn/RTXWZeN
2、kafka导入ElasticSearch实践第二弹
http://t.cn/RT6wGgG
3、Elasticsearch在云平台使用指南
http://t.cn/RYDVunk
4、[日文]用Analyze API了解倒排索引和文本分析
http://t.cn/RT6y399

编辑:铭毅天下
归档:https://elasticsearch.cn/article/418
订阅: https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第130期 (2017-12-14)

1.ElasticSearch QueryCache漫谈
http://t.cn/RTt7LW7
2.elasticsearch源码深入分析——启动过程(Bootstrap)
http://t.cn/RTi5xjm
3.使用elk处理jenkins build日志
http://t.cn/RWGhqav
4.Elastic Advent Calendar Day 13,filebeat在6.x的配置变更
http://t.cn/RTiqoog

编辑:金桥
归档:https://elasticsearch.cn/article/417
订阅: https://tinyletter.com/elastic-daily
继续阅读 »
1.ElasticSearch QueryCache漫谈
http://t.cn/RTt7LW7
2.elasticsearch源码深入分析——启动过程(Bootstrap)
http://t.cn/RTi5xjm
3.使用elk处理jenkins build日志
http://t.cn/RWGhqav
4.Elastic Advent Calendar Day 13,filebeat在6.x的配置变更
http://t.cn/RTiqoog

编辑:金桥
归档:https://elasticsearch.cn/article/417
订阅: https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第129期 (2017-12-13)

1. 聊聊蝇量级搜索平台设计
http://t.cn/RTIVNkj 
2. ELK + Filebeat 搭建日志系统
http://t.cn/RTIVDt1 
3. 去哪儿客户端全业务线用户行为数据ETL介绍
http://t.cn/RYsXRym 
4. (意大利语)Elastic Advent Calendar, Day 12:Elastic Stack监控比特币
http://t.cn/RTIXXNC

编辑:江水
归档:https://elasticsearch.cn/article/416
订阅: https://tinyletter.com/elastic-daily
继续阅读 »
1. 聊聊蝇量级搜索平台设计
http://t.cn/RTIVNkj 
2. ELK + Filebeat 搭建日志系统
http://t.cn/RTIVDt1 
3. 去哪儿客户端全业务线用户行为数据ETL介绍
http://t.cn/RYsXRym 
4. (意大利语)Elastic Advent Calendar, Day 12:Elastic Stack监控比特币
http://t.cn/RTIXXNC

编辑:江水
归档:https://elasticsearch.cn/article/416
订阅: https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第128期 (2017-12-12)

1.中小型研发团队架构实践之集中式日志ELK。
http://t.cn/RTGlt4p 
2.使用Amazon Rekognition and Elasticsearch进行机器学习。
http://t.cn/RTGl6OA 
3.ELK教程,挖掘、分析、可视化数据的高效解决之道。
http://t.cn/RTqOKYy 
4.(葡文)Elastic Advent Calendar, Day 11:父子文档的索引顺序。
http://t.cn/RTqohCw 
招聘:[上海-平安银行-招聘]招聘elasticsearch工程师。
https://elasticsearch.cn/question/3086 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/415 
订阅:https://tinyletter.com/elastic-daily 
 
继续阅读 »
1.中小型研发团队架构实践之集中式日志ELK。
http://t.cn/RTGlt4p 
2.使用Amazon Rekognition and Elasticsearch进行机器学习。
http://t.cn/RTGl6OA 
3.ELK教程,挖掘、分析、可视化数据的高效解决之道。
http://t.cn/RTqOKYy 
4.(葡文)Elastic Advent Calendar, Day 11:父子文档的索引顺序。
http://t.cn/RTqohCw 
招聘:[上海-平安银行-招聘]招聘elasticsearch工程师。
https://elasticsearch.cn/question/3086 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/415 
订阅:https://tinyletter.com/elastic-daily 
  收起阅读 »

社区日报 第127期 (2017-12-11)

1.使用grafana作为数据展示层查看es中的数据。
http://t.cn/RTLuxtG
2.手把手教你如何使用es来存储java日志。
http://t.cn/RTLr6qQ
3.使用ansible来管理elasticsearch的指南书。
http://t.cn/RTLgFGv
4.(德文)Elastic Advent Calendar, Day 10: 使用Elastic Stack来中心化存储日志
http://t.cn/RTL3N8I
 
编辑:cyberdak
归档:https://elasticsearch.cn/article/414
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.使用grafana作为数据展示层查看es中的数据。
http://t.cn/RTLuxtG
2.手把手教你如何使用es来存储java日志。
http://t.cn/RTLr6qQ
3.使用ansible来管理elasticsearch的指南书。
http://t.cn/RTLgFGv
4.(德文)Elastic Advent Calendar, Day 10: 使用Elastic Stack来中心化存储日志
http://t.cn/RTL3N8I
 
编辑:cyberdak
归档:https://elasticsearch.cn/article/414
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第126期 (2017-12-10)

1.监控Logstash Pipelines。
http://t.cn/RT7WHKH
2.如何使用Kibana检索字段的唯一计数。
http://t.cn/RT7Pi88
3.(自备梯子)如何使用神经网络找到Wally。
http://t.cn/RT7PKZI
4.(英文)Elastic Advent Calendar, Day 9:  竞技优势
http://t.cn/RT7PYJ1

编辑:至尊宝
归档:https://elasticsearch.cn/article/413
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.监控Logstash Pipelines。
http://t.cn/RT7WHKH
2.如何使用Kibana检索字段的唯一计数。
http://t.cn/RT7Pi88
3.(自备梯子)如何使用神经网络找到Wally。
http://t.cn/RT7PKZI
4.(英文)Elastic Advent Calendar, Day 9:  竞技优势
http://t.cn/RT7PYJ1

编辑:至尊宝
归档:https://elasticsearch.cn/article/413
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第125期 (2017-12-9)

1、如何针对spark作业配置ELK?

http://t.cn/RYssd1H

2、有对比才有发现,看看ES与MarkLogic的对比

http://t.cn/RTvPGm6

3、(中文)Elastic Advent Calendar Day 8,使用 reindex API 迁移数据到 6.x 集群

http://t.cn/RYD2I6R

4、一周热点:看不懂的比特币

http://t.cn/RYQBICq

5、Elastic Meetup 深圳交流会

https://elasticsearch.cn/article/406 


编辑:bsll

归档:https://elasticsearch.cn/article/412

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、如何针对spark作业配置ELK?

http://t.cn/RYssd1H

2、有对比才有发现,看看ES与MarkLogic的对比

http://t.cn/RTvPGm6

3、(中文)Elastic Advent Calendar Day 8,使用 reindex API 迁移数据到 6.x 集群

http://t.cn/RYD2I6R

4、一周热点:看不懂的比特币

http://t.cn/RYQBICq

5、Elastic Meetup 深圳交流会

https://elasticsearch.cn/article/406 


编辑:bsll

归档:https://elasticsearch.cn/article/412

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第124期 (2017-12-08)

1、Elasticsearch中国布道者告诉你,ELK为什么这么流行?
http://t.cn/RYePUEf
2、 基于canal的mysql和elasticsearch实时同步方案 
http://t.cn/RYePfPV
3、kafka对接Elasticsearch实战
http://t.cn/RYeZm7P
4、看过来 | 集群保障注意事项
http://uee.me/y47P
5、Elastic Meetup 深圳交流会
https://elasticsearch.cn/article/406 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/411
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1、Elasticsearch中国布道者告诉你,ELK为什么这么流行?
http://t.cn/RYePUEf
2、 基于canal的mysql和elasticsearch实时同步方案 
http://t.cn/RYePfPV
3、kafka对接Elasticsearch实战
http://t.cn/RYeZm7P
4、看过来 | 集群保障注意事项
http://uee.me/y47P
5、Elastic Meetup 深圳交流会
https://elasticsearch.cn/article/406 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/411
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第123期 (2017-12-07)

1.基于Metricbeat和ELK的Docker性能监控
http://t.cn/RY3lgw1
2.超级简单的在Kubernetes上构建Elasticsearch集群
http://t.cn/RiuNMXw
3.一个新的 UI 框架:Elastic UI Framework
https://elasticsearch.cn/article/409
4.(韩文)Elastic Advent Calendar Day 6,使用cross cluster search进行跨集群搜索
http://t.cn/RY3YPab
5.Elastic Meetup 深圳交流会
https://elasticsearch.cn/article/406

编辑:金桥
归档:https://elasticsearch.cn/article/410
订阅: https://tinyletter.com/elastic-daily
继续阅读 »
1.基于Metricbeat和ELK的Docker性能监控
http://t.cn/RY3lgw1
2.超级简单的在Kubernetes上构建Elasticsearch集群
http://t.cn/RiuNMXw
3.一个新的 UI 框架:Elastic UI Framework
https://elasticsearch.cn/article/409
4.(韩文)Elastic Advent Calendar Day 6,使用cross cluster search进行跨集群搜索
http://t.cn/RY3YPab
5.Elastic Meetup 深圳交流会
https://elasticsearch.cn/article/406

编辑:金桥
归档:https://elasticsearch.cn/article/410
订阅: https://tinyletter.com/elastic-daily 收起阅读 »