请问当结果集比较大或者bucket数量太多时,使用dateHistogram,terms进行聚合分析如何优化?
laoyang360 回复了问题 • 4 人关注 • 2 个回复 • 5317 次浏览 • 2018-02-11 19:38
elasticsearch 可以根据某个时间字段不限日期查询在6~10点范围内的数据吗?
王庆焕 回复了问题 • 7 人关注 • 4 个回复 • 8816 次浏览 • 2018-02-11 15:31
elasticsearch源码导入intellij
zhangguojun 发表了文章 • 1 个评论 • 2792 次浏览 • 2018-02-11 15:11
windows10,jdk1.8,elasticsearch-6.1.3,gradle-4.5,intellij
过程:
1:从github上下载elasticsearch-6.1.3版本,并且解压
2:安装gradle配置环境变量
3:进入elasticsearch目录执行:gradle idea命令
4:使用intellij导入elasticsearch项目
windows10,jdk1.8,elasticsearch-6.1.3,gradle-4.5,intellij
过程:
1:从github上下载elasticsearch-6.1.3版本,并且解压
2:安装gradle配置环境变量
3:进入elasticsearch目录执行:gradle idea命令
4:使用intellij导入elasticsearch项目
org.elasticsearch.index.mapper.MapperParsingException: No type specified for field
回复DeepRedApple 发起了问题 • 1 人关注 • 0 个回复 • 5059 次浏览 • 2018-02-11 11:04
Java API [6.1] 查询 setSource顺序不同得到结果不同
medcl 回复了问题 • 2 人关注 • 1 个回复 • 3046 次浏览 • 2018-02-10 17:11
elasticsearch 动态修改配置报错
medcl 回复了问题 • 2 人关注 • 1 个回复 • 2891 次浏览 • 2018-02-10 17:03
elasticsearch.yml 个人解读
夏李俊 发表了文章 • 0 个评论 • 3221 次浏览 • 2018-02-09 16:08
- 属性 cluster.name 如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。
- 属性 node.name 节点名可以忽略
- 属性 node.master 指定该节点是否有资格被选举成为node,默认是true
- 属性 index.number_of_shard 设置默认索引分片个数,默认为5片
- 属性 index.number_of_replica 设置默认索引副本个数,默认为1个副本
- 属性 path.conf 设置配置文件的存储路径,默认是es根目录下的config文件夹。
- 属性 path.data 设置索引数据的存储路径,默认是es根目录下的data文件夹
- 属性 path.work 设置临时文件的存储路径,默认是es根目录下的work文件夹
- 属性 path.logs 设置日志文件的存储路径,默认是es根目录下的logs文件夹
- 属性 path.repo 快照存储路径
- 属性 gateway.recover_after_nodes 设置集群中N个节点启动时进行数据恢复,默认为1
- 属性 network.host 映射出来的ip
- 属性 transport.tcp.port 设置节点间交互的tcp端口,默认是9300
- 属性 http.port: 9200 设置对外服务的http端口,默认为9200
- 属性 index.number_of_replicas 索引的复制副本数量
- 属性 indices.fielddata.cache.size fielddata缓存限制,默认无限制
- 属性 indices.breaker.fielddata.limit fielddata级别限制,默认为堆的60%
- 属性 indices.breaker.request.limit request级别请求限制,默认为堆的40%
- 属性 indices.breaker.total.limit 保证上面两者组合起来的限制,默认堆的70%
- 属性 discovery.zen.ping.multicast.enabled 是否广播模式,默认true,广播模式即同一个网段的ES服务只要集群名[cluster.name]一致,则自动集群
- 属性 discovery.zen.ping.unicast.hosts 手动指定,哪个几个可以ping通的es服务做集群,注意该设置应该设置在master节点上,data节点无效
----------------------------------------------------------------------------------------------------------------------------------
GC Logging
monitor.jvm.gc.young.warn: 1000ms
monitor.jvm.gc.young.info: 700ms
monitor.jvm.gc.young.debug: 400ms
monitor.jvm.gc.old.warn: 10s
monitor.jvm.gc.old.info: 5s
monitor.jvm.gc.old.debug: 2s
Elasticsearch mapping 配置个人解读
夏李俊 发表了文章 • 0 个评论 • 5282 次浏览 • 2018-02-09 15:47
配置详解
文件中"mapping":{}中的内容,即为创建索引的mappingsource 如:
"mappings": {
"_default_" : { //@1
"_all" : {"enabled" : true}, //@2
"properties" : { //@3
"tableType" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true}, //@4
"caption" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"code" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"description" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"perm" : {"type" : "string", "index" : "not_analyzed", "include_in_all" : false}
}
},
"ec02_goodsinfo" : { //@5
"_all" : {"enabled" : true}, //@6
"properties" : { //@7
"tableType" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"caption" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"code" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"description" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"perm" : {"type" : "string", "index" : "not_analyzed", "include_in_all" : false},
"bill":{ //@8
properties" : {
"CreateYear" : {"type" : "string", "index" : "not_analyzed", "include_in_all" : true} //@9
}
}
}
}
}
- @1 _default_所有单据默认的创建索引的配置
- @2 _all{} 每个单据下所有的字段配置,"enabled" : true 所有字段创建索引,false 所有字段禁止创建索引,[*注意]除非properties指定的字段,默认字段类型将自动匹配
- @3 properties {},每个单据下字段或者properties的指定配置
- @4 properties {}中指定了属性(properties):"tableType"的检索配置,type:string > 类型字符串,include_in_all:false > 改字段或者属性不包含在单据的所有字段中,"store": true > 储存在数据库中
- @5 ec02_goodsinfo 表示对单据 "ec02_goodsinfo" 的特定检索配置
- @6 _all{} 只对"ec02_goodsinfo"单据下所有的字段配置
- @7 properties {},只对"ec02_goodsinfo"单据下字段或者properties的指定配置
- [*注意]@8,@9 bill在单据中额字段都会包括一层bill,所以如果要对单据中某个字段指定需要套一层bill{}
-----------------------------------------------------------------------------------------------------------------------------------------
属性解说
版本5.X以前
- index 可选值为analyzed(默认)和not_analyzed,如果是字段是字符串类型的,则可以是not_analyzed
- store 可选值为yes或no,指定该字段的原始值是否被写入索引中,默认为no,即结果中不能返回该字段。
- boost默认为1,定义了文档中该字段的重要性,越高越重要
- null_value 如果一个字段为null值(空数组或者数组都是null值)的话不会被索引及搜索到,null_value参数可以显示替代null values为指定值,这样使得字段可以被搜索到。
- include_in_all 指定该字段是否应该包括在_all字段里头,默认情况下都会包含。
- type 可以指定String,long,int,doulbe,floot,boolean,等
版本5.X以后
- 原本type string,其index 可选值为analyzed(默认)和not_analyzed,现在直接拆违type text( index analyzed),type keyword(index not_analyzed)
- store 可选值为enable或false,指定该字段的原始值是否被写入索引中,默认为enable,即结果中不能返回该字段。
- index 表示是否用于检索默认enable,可选false
-------------------------------------------------------------------------------------------------------------------------------
字段的数据类型
- 简单类型string(指定分词器)
- date(默认使用UTC保持,也可以使用format指定格式)
- 数值类型(byte,short,integer,long,float,double)
- boolean
- binary(存储在索引中的二进制数据的base64表示,比如图像,只存储不索引)
- ip(以数字形式简化IPV4地址的使用,可以被索引、排序并使用IP值做范围查询)注意string是5.x以前的,5.x之后被分裂为text,keyword
有层级结构的类型,比如object 或者 nested.
特殊类型
- geo_point
- geo_shape
- completion
Elasticsearch、Logstash安装x-pack后,logstash发送数据给ES,ES问什么接收不到?
回复xinian 回复了问题 • 1 人关注 • 2 个回复 • 5549 次浏览 • 2018-02-09 11:15
logstash-input-jdbc的作用只能把mysql数据同步到es吗,可以通过es添加数据进mysql吗?怎么做?
xinian 回复了问题 • 3 人关注 • 2 个回复 • 2355 次浏览 • 2018-02-09 09:41
es-hadoop routing异常
medcl 回复了问题 • 3 人关注 • 1 个回复 • 2868 次浏览 • 2018-02-08 21:46
聚合搜索 size:0 无效 elasticsearch 6.1.2
laoyang360 回复了问题 • 3 人关注 • 2 个回复 • 2329 次浏览 • 2018-02-08 19:01