好的想法是十分钱一打,真正无价的是能够实现这些想法的人。

字段的类型如何选择

Elasticsearch | 作者 gh | 发布于2017年09月07日 | 阅读数:4094

直接上代码:
POST /opt_log/goods
{
"shop_code":"ezmall",
"name":"c2c",
"msg":"test",
"timestamp":"2017-09-07 11:25:23"

}
结果报错:
{
"error": {
"root_cause": [
{
"type": "mapper_parsing_exception",
"reason": "failed to parse [timestamp]"
}
],
"type": "mapper_parsing_exception",
"reason": "failed to parse [timestamp]",
"caused_by": {
"type": "illegal_argument_exception",
"reason": "Invalid format: \"2017/09/07 11:25:23\" is malformed at \"/09/07 11:25:23\""
}
},
"status": 400
}
 
我的问题是:
字段timestamp是否该选择date类型,以后希望能查询时间范围
如果选择了date类型,那么应该是什么格式呢
已邀请:

novia - 1&0

赞同来自: gh wudoz

设置mapping,如下:
 
"download_date": {
"format": "yyyy-MM-dd HH:mm:ss",
"type": "date"
}

gh

赞同来自:

elasticsearch原生支持date类型,结合该类型和Kibana可以做出漂亮有用的图表。这里简单记录下使用的方法。

使用date类型可以用如下两种方式:

使用毫秒的时间戳,直接将毫秒值传入即可。

传入格式化的字符串,默认是ISO 8601标准,例如2015-02-27T00:07Z(零时区)、2015-02-27T08:07+08:00(东八区),这两个时间实际是同一个,只是时区不同,关于时间戳,可以参见我之前的文章。另外还可以自定义时间格式,参见es的文档。但个人不建议使用自定义格式,设置不当容易遇到时区问题。在php中获取ISO 8601标准的时间很简单,date('c',time())即可。

elasticsearch默认会自动识别date类型,如果想关闭该功能,修改mapping的设置'date_detection' => false即可 。







elasticsearch原生支持date类型,json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候,es会隐式转换,把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型,参考elasticsearch官网介绍https://www.elastic.co/guide/e ... .html

date类型是包含时区信息的,如果我们没有在json代表日期的字符串中显式指定时区,对es来说没什么问题,但是如果通过kibana显示es里的数据时,就会出现问题,数据的时间会晚8个小时。因为kibana从es里读取的date类型数据,没有时区信息,kibana会默认当作0时区来解析,但是kibana在通过浏览器展示的时候,会通过js获取当前客户端机器所在的时区,也就是东八区,所以kibana会把从es得到的日期数据减去8小时。这里就会导致kibana经常遇到的“数据时间延迟8小时”的问题。

所以最佳实践方案就是:我们在往es提交日期数据的时候,直接提交带有时区信息的日期字符串,如:“2016-07-15T12:58:17.136+0800”。
 

wanyanglan - 90后

赞同来自:

mapping可以修改吗
 

要回复问题请先登录注册