ELK,萌萌哒

请问当结果集比较大或者bucket数量太多时,使用dateHistogram,terms进行聚合分析如何优化?

laoyang360 回复了问题 • 4 人关注 • 2 个回复 • 5317 次浏览 • 2018-02-11 19:38 • 来自相关话题

transportClient api : 字段折叠后按照数量排序

回复

dlliwei 发起了问题 • 1 人关注 • 0 个回复 • 2347 次浏览 • 2018-02-11 16:22 • 来自相关话题

elasticsearch 可以根据某个时间字段不限日期查询在6~10点范围内的数据吗?

王庆焕 回复了问题 • 7 人关注 • 4 个回复 • 8816 次浏览 • 2018-02-11 15:31 • 来自相关话题

elasticsearch源码导入intellij

zhangguojun 发表了文章 • 1 个评论 • 2792 次浏览 • 2018-02-11 15:11 • 来自相关话题

环境准备:
   windows10,jdk1.8,elasticsearch-6.1.3,gradle-4.5,intellij
过程:
   1:从github上下载elasticsearch-6.1.3版本,并且解压
   2:安装gradle配置环境变量
   3:进入elasticsearch目录执行:gradle idea命令
   4:使用intellij导入elasticsearch项目
 
环境准备:
   windows10,jdk1.8,elasticsearch-6.1.3,gradle-4.5,intellij
过程:
   1:从github上下载elasticsearch-6.1.3版本,并且解压
   2:安装gradle配置环境变量
   3:进入elasticsearch目录执行:gradle idea命令
   4:使用intellij导入elasticsearch项目
 

org.elasticsearch.index.mapper.MapperParsingException: No type specified for field

回复

DeepRedApple 发起了问题 • 1 人关注 • 0 个回复 • 5059 次浏览 • 2018-02-11 11:04 • 来自相关话题

Java API [6.1] 查询 setSource顺序不同得到结果不同

medcl 回复了问题 • 2 人关注 • 1 个回复 • 3046 次浏览 • 2018-02-10 17:11 • 来自相关话题

elasticsearch 动态修改配置报错

medcl 回复了问题 • 2 人关注 • 1 个回复 • 2891 次浏览 • 2018-02-10 17:03 • 来自相关话题

在使用es2.4版本过程中关于映射的问题!

回复

ajaq454 回复了问题 • 1 人关注 • 1 个回复 • 2025 次浏览 • 2018-02-10 15:44 • 来自相关话题

elasticsearch.yml 个人解读

夏李俊 发表了文章 • 0 个评论 • 3221 次浏览 • 2018-02-09 16:08 • 来自相关话题

  • 属性 cluster.name 如果在同一网段下有多个集群,就可以用这个属性来区分不同的集群。
  • 属性 node.name 节点名可以忽略
  • 属性 node.master 指定该节点是否有资格被选举成为node,默认是true
  • 属性 index.number_of_shard 设置默认索引分片个数,默认为5片
  • 属性 index.number_of_replica 设置默认索引副本个数,默认为1个副本
  • 属性 path.conf 设置配置文件的存储路径,默认是es根目录下的config文件夹。
  • 属性 path.data 设置索引数据的存储路径,默认是es根目录下的data文件夹
  • 属性 path.work 设置临时文件的存储路径,默认是es根目录下的work文件夹
  • 属性 path.logs 设置日志文件的存储路径,默认是es根目录下的logs文件夹
  • 属性 path.repo 快照存储路径
  • 属性 gateway.recover_after_nodes 设置集群中N个节点启动时进行数据恢复,默认为1
  • 属性 network.host 映射出来的ip
  • 属性 transport.tcp.port 设置节点间交互的tcp端口,默认是9300
  • 属性 http.port: 9200 设置对外服务的http端口,默认为9200
  • 属性 index.number_of_replicas 索引的复制副本数量
  • 属性 indices.fielddata.cache.size fielddata缓存限制,默认无限制
  • 属性 indices.breaker.fielddata.limit fielddata级别限制,默认为堆的60% 
  • 属性 indices.breaker.request.limit request级别请求限制,默认为堆的40% 
  • 属性 indices.breaker.total.limit 保证上面两者组合起来的限制,默认堆的70%
  • 属性 discovery.zen.ping.multicast.enabled 是否广播模式,默认true,广播模式即同一个网段的ES服务只要集群名[cluster.name]一致,则自动集群
  • 属性 discovery.zen.ping.unicast.hosts 手动指定,哪个几个可以ping通的es服务做集群,注意该设置应该设置在master节点上,data节点无效

----------------------------------------------------------------------------------------------------------------------------------
GC Logging 
monitor.jvm.gc.young.warn: 1000ms
monitor.jvm.gc.young.info: 700ms
monitor.jvm.gc.young.debug: 400ms

monitor.jvm.gc.old.warn: 10s
monitor.jvm.gc.old.info: 5s
monitor.jvm.gc.old.debug: 2s

Elasticsearch mapping 配置个人解读

夏李俊 发表了文章 • 0 个评论 • 5282 次浏览 • 2018-02-09 15:47 • 来自相关话题


配置详解
文件中"mapping":{}中的内容,即为创建索引的mappingsource 如:
"mappings": {
"_default_" : { //@1
"_all" : {"enabled" : true}, //@2
"properties" : { //@3
"tableType" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true}, //@4
"caption" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"code" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"description" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"perm" : {"type" : "string", "index" : "not_analyzed", "include_in_all" : false}
}
},
"ec02_goodsinfo" : { //@5
"_all" : {"enabled" : true}, //@6
"properties" : { //@7
"tableType" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"caption" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"code" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"description" : {"type" : "string", "index" : "no", "include_in_all" : false, "store": true},
"perm" : {"type" : "string", "index" : "not_analyzed", "include_in_all" : false},
"bill":{ //@8
properties" : {
"CreateYear" : {"type" : "string", "index" : "not_analyzed", "include_in_all" : true} //@9
}
}
}
}
}

  • @1 _default_所有单据默认的创建索引的配置
  • @2 _all{} 每个单据下所有的字段配置,"enabled" : true 所有字段创建索引,false 所有字段禁止创建索引,[*注意]除非properties指定的字段,默认字段类型将自动匹配
  • @3 properties {},每个单据下字段或者properties的指定配置
  • @4 properties {}中指定了属性(properties):"tableType"的检索配置,type:string > 类型字符串,include_in_all:false > 改字段或者属性不包含在单据的所有字段中,"store": true > 储存在数据库中
  • @5 ec02_goodsinfo 表示对单据 "ec02_goodsinfo" 的特定检索配置
  • @6 _all{} 只对"ec02_goodsinfo"单据下所有的字段配置
  • @7 properties {},只对"ec02_goodsinfo"单据下字段或者properties的指定配置
  • [*注意]@8,@9 bill在单据中额字段都会包括一层bill,所以如果要对单据中某个字段指定需要套一层bill{}

-----------------------------------------------------------------------------------------------------------------------------------------
属性解说
版本5.X以前
  • index 可选值为analyzed(默认)和not_analyzed,如果是字段是字符串类型的,则可以是not_analyzed
  • store 可选值为yes或no,指定该字段的原始值是否被写入索引中,默认为no,即结果中不能返回该字段。
  • boost默认为1,定义了文档中该字段的重要性,越高越重要
  • null_value 如果一个字段为null值(空数组或者数组都是null值)的话不会被索引及搜索到,null_value参数可以显示替代null values为指定值,这样使得字段可以被搜索到。
  • include_in_all 指定该字段是否应该包括在_all字段里头,默认情况下都会包含。
  • type 可以指定String,long,int,doulbe,floot,boolean,等

版本5.X以后
  • 原本type string,其index 可选值为analyzed(默认)和not_analyzed,现在直接拆违type text( index analyzed),type keyword(index not_analyzed)
  • store 可选值为enable或false,指定该字段的原始值是否被写入索引中,默认为enable,即结果中不能返回该字段。
  • index 表示是否用于检索默认enable,可选false

-------------------------------------------------------------------------------------------------------------------------------
字段的数据类型
  • 简单类型string(指定分词器)
  • date(默认使用UTC保持,也可以使用format指定格式)
  • 数值类型(byte,short,integer,long,float,double)
  • boolean
  • binary(存储在索引中的二进制数据的base64表示,比如图像,只存储不索引)
  • ip(以数字形式简化IPV4地址的使用,可以被索引、排序并使用IP值做范围查询)注意string是5.x以前的,5.x之后被分裂为text,keyword


有层级结构的类型,比如object 或者 nested.
特殊类型
  • geo_point
  • geo_shape
  • completion

 

Elasticsearch、Logstash安装x-pack后,logstash发送数据给ES,ES问什么接收不到?

回复

xinian 回复了问题 • 1 人关注 • 2 个回复 • 5549 次浏览 • 2018-02-09 11:15 • 来自相关话题

Java High Level REST Client 的聚合写法

回复

cookiedoug 回复了问题 • 1 人关注 • 1 个回复 • 6073 次浏览 • 2018-02-09 10:10 • 来自相关话题

logstash-input-jdbc的作用只能把mysql数据同步到es吗,可以通过es添加数据进mysql吗?怎么做?

xinian 回复了问题 • 3 人关注 • 2 个回复 • 2355 次浏览 • 2018-02-09 09:41 • 来自相关话题

es-hadoop routing异常

medcl 回复了问题 • 3 人关注 • 1 个回复 • 2868 次浏览 • 2018-02-08 21:46 • 来自相关话题

聚合搜索 size:0 无效 elasticsearch 6.1.2

laoyang360 回复了问题 • 3 人关注 • 2 个回复 • 2329 次浏览 • 2018-02-08 19:01 • 来自相关话题