社区日报 第135期 (2017-12-19)
社区日报 • kimichen123 发表了文章 • 0 个评论 • 1825 次浏览 • 2017-12-19 09:23
http://t.cn/RTYMZn8
2.Elasticsearch 5.X集群多节点角色配置深入详解。
http://t.cn/RTY62ym
3.使用JestClient连接elasticsearch-5.x对数据进行分组聚合。
http://t.cn/RTQbUhu
4.(韩语)Elastic Advent Calendar, Day 18:解析Doc Value的魔法。
http://t.cn/RTYN1n8
编辑:叮咚光军
归档:https://elasticsearch.cn/article/425
订阅:https://tinyletter.com/elastic-daily
log stash 安装x-pack 一直默认连本地的9200端口启动不起来
Logstash • luohuanfeng 回复了问题 • 2 人关注 • 1 个回复 • 6323 次浏览 • 2017-12-19 11:32
ES ik可以定义分词长度么
Elasticsearch • xiaoxinba 回复了问题 • 5 人关注 • 2 个回复 • 3976 次浏览 • 2023-09-28 18:43
elasticsearch最多可以创建多少个index?
Elasticsearch • laoyang360 回复了问题 • 3 人关注 • 2 个回复 • 5398 次浏览 • 2017-12-20 07:47
elasticsearch从5.1.1 升级到5.6.5 在同步副本数据时报错
回复Elasticsearch • guopeng7216 发起了问题 • 1 人关注 • 0 个回复 • 4940 次浏览 • 2017-12-18 14:25
elasticsearch 6.0.1版本,运行2天后一个节点不可用。
Elasticsearch • laoyang360 回复了问题 • 3 人关注 • 1 个回复 • 6441 次浏览 • 2017-12-18 19:28
内存溢出问题
Elasticsearch • jianjianhe 回复了问题 • 6 人关注 • 4 个回复 • 9099 次浏览 • 2018-06-04 11:32
logstash date不支持BJT时区
Logstash • qvitt 发表了文章 • 2 个评论 • 3839 次浏览 • 2017-12-18 10:29
社区日报 第134期 (2017-12-18)
社区日报 • cyberdak 发表了文章 • 0 个评论 • 1977 次浏览 • 2017-12-18 09:42
http://t.cn/RTlWVit
2.filebeat 5.X关于使用通配符的性能讨论。
http://t.cn/RTlEsRp
3.(英语)Elastic Advent Calendar, Day 17: 运维Elastic Cloud Enterprise的各种要点
http://t.cn/RTlTIYF
编辑:cyberdak
归档:https://elasticsearch.cn/article/423
订阅:https://tinyletter.com/elastic-daily
倒排索引 数字和日期类型的问题
Elasticsearch • codepub 回复了问题 • 4 人关注 • 3 个回复 • 6624 次浏览 • 2018-04-23 17:10
社区日报 第133期 (2017-12-17)
社区日报 • 至尊宝 发表了文章 • 0 个评论 • 1877 次浏览 • 2017-12-17 10:15
http://t.cn/RTpfMIR
2.(自备梯子)在Kubernetes上使用ELK记录日志。
http://t.cn/RTpMOnw
3.(自备梯子)算法是新的药物。
http://t.cn/RTpiSiE
4.(法语)Elastic Advent Calendar, Day 16: Elasticsearch插件的测试表现
http://t.cn/RTpJjwF
编辑:至尊宝
归档:https://elasticsearch.cn/article/422
订阅:https://tinyletter.com/elastic-daily
elasticsearch批量导入数据注意事项
Elasticsearch • wj86611199 发表了文章 • 0 个评论 • 11647 次浏览 • 2017-12-16 23:55
刚刚初始化启动kiabna后是没有索引的,当然,如果elasticsearch中导入过数据那么kibana会自动匹配索引
现在按照官方例子开始批量给elasticsearch导入数据
链接如下https://www.elastic.co/guide/e ... .html
我们会依次导入如下 三块数据
1.The Shakespeare data 莎士比亚文集的数据结构
{
"line_id": INT,
"play_name": "String",
"speech_number": INT,
"line_number": "String",
"speaker": "String",
"text_entry": "String",
}
2.The accounts data 账户数据结构
{
"account_number": INT,
"balance": INT,
"firstname": "String",
"lastname": "String",
"age": INT,
"gender": "M or F",
"address": "String",
"employer": "String",
"email": "String",
"city": "String",
"state": "String"
}
3.The schema for the logs data 日志数据
{
"memory": INT,
"geo.coordinates": "geo_point"
"@timestamp": "date"
}
然后向elasticsearch设置字段映射
Use the following command in a terminal (eg bash) to set up a mapping for the Shakespeare data set:
以下是莎士比亚的字段映射 可以用postman或者curl等发出请求~完整的url应该是localhost:9200/shakespear
PUT /shakespeare
{
"mappings": {
"doc": {
"properties": {
"speaker": {"type": "keyword"},
"play_name": {"type": "keyword"},
"line_id": {"type": "integer"},
"speech_number": {"type": "integer"}
}
}
}
}
Use the following commands to establish geo_point mapping for the logs:
这是 logs的字段映射
PUT /logstash-2015.05.18
{
"mappings": {
"log": {
"properties": {
"geo": {
"properties": {
"coordinates": {
"type": "geo_point"
}
}
}
}
}
}
}
PUT /logstash-2015.05.19
{
"mappings": {
"log": {
"properties": {
"geo": {
"properties": {
"coordinates": {
"type": "geo_point"
}
}
}
}
}
}
}
COPY AS CURLVIEW IN CONSOLE
PUT /logstash-2015.05.20
{
"mappings": {
"log": {
"properties": {
"geo": {
"properties": {
"coordinates": {
"type": "geo_point"
}
}
}
}
}
}
}
账户信息没有字段映射。。。
现在批量导入
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.json
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/shakespeare/doc/_bulk?pretty' --data-binary @shakespeare_6.0.json
curl -H 'Content-Type: application/x-ndjson' -XPOST 'localhost:9200/_bulk?pretty' --data-binary @logs.jsonl
windows下的curl命令可以到https://curl.haxx.se/download.html#Win64下载,解压后设置环境变量即可
这里要注意的是 @accounts.json,@shakespeare_6.0.json,@logs.json这些文件的位置应该是你所在的当前目录,
如果你当前位置是D盘~那么这些文件位置就要放在D盘下,否则读不到
还有一点~~~windows下要把命令行中的单引号换成双引号,,。。。否则会报
curl: (6) Could not resolve host: application这样的错误
]kibana源码修改(一)webpack初始化爬坑
Kibana • wj86611199 发表了文章 • 0 个评论 • 5960 次浏览 • 2017-12-16 22:40
(一)选择master分支 下载到本地 https://github.com/elastic/kibana.git,不过貌似选不选分支都一样,我选了个5.2版本的下到本地还是最新版的7.0alpha版
(二) 切到kibana目录下 运行npm install.....
在这里我为了图快。。。用了淘宝镜像cnpm install.....然后坑爹的事情发生了~~~~~安装成功运行下一步 npm run elasticsearch的时候开始无尽的报
错。。。。都是依赖找不到。。然后安装对应依赖后又出现其他依赖找不到的情况。。。重复几次还是不行。。后来幸亏钉钉群里的大牛们告诉我要严格按照
CONTRIBUTING.md 这里的步骤来。。然后 我删掉来项目 重新 按照文档步骤来 果然 一步到位~~~~~直接npm install哦
(三)然后就可以运行 npm run elasticsearch 是的不用去官网再下elasticsearch的可执行文件了,这时会出现以下cluster的下载信息,这个等待时间会很长。。可以先干点别的事情去:)
(四)node scripts/makelogs這步没啥好说的。。。。
(五)在config/kibana.yml中加上:optimize.enabled:false..加上这句的原因为了时时看到源码修改后页面的结果
因为修改之前服务是优先使用bundle.js内容,而不会每次都进到各源码目录执行,这样的话每次该源码是不会看到kibana页面有变化的。。
(六)运行 npm run start 开始改代码吧