ES TransPortClient 多线程update 数据的时候 数据出现问题,但是没有报错
Elasticsearch • hanbj 回复了问题 • 2 人关注 • 1 个回复 • 1307 次浏览 • 2018-08-30 09:18
python操作es使用bulk时候报content-type(406)错误
Elasticsearch • JackGe 回复了问题 • 2 人关注 • 1 个回复 • 5220 次浏览 • 2018-08-29 22:44
es日志中出现大量merge打压index速度的日志,byte和refresh什么的都改过了,还是有问题,求教...
Elasticsearch • JackGe 回复了问题 • 3 人关注 • 1 个回复 • 3354 次浏览 • 2018-08-29 22:24
在Elasticsearch 6.1.3版本中,发现translog文件过多导致异常
Elasticsearch • kennywu76 回复了问题 • 6 人关注 • 4 个回复 • 5835 次浏览 • 2018-08-29 16:33
社区日报 第378期 (2018-08-29)
社区日报 • 千夜 发表了文章 • 0 个评论 • 1598 次浏览 • 2018-08-29 10:04
http://t.cn/RKYPGL3
2.ElasticSearch 深入理解系列
http://t.cn/RF2LdiG
http://t.cn/RF2zPF9
http://t.cn/RF2zABQ
http://t.cn/RF22Efd
3.使用ELK构建微服务的日志平台
http://t.cn/Rkb1wdM
1、活动预告:Elastic 中国开发者大会最后一波早鸟票发售进行中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下沙龙正在报名中
https://elasticsearch.cn/article/759
编辑:江水
归档:https://elasticsearch.cn/article/777
订阅:https://tinyletter.com/elastic-daily
最近在测试elasticsearch的索引数据多盘存储的问题,求大神帮忙解答一些,谢谢!
Elasticsearch • joycer 回复了问题 • 6 人关注 • 2 个回复 • 3835 次浏览 • 2018-08-29 10:01
path.data 配置了多个路径后 es的存储和获取机制是什么
Elasticsearch • rojay 回复了问题 • 7 人关注 • 4 个回复 • 16700 次浏览 • 2018-08-29 09:14
Elastic 中国开发者大会 2018 疯狂来袭!
活动 • medcl 发表了文章 • 0 个评论 • 4531 次浏览 • 2018-08-28 17:52
10月5日,Elastic 正式在纽交所上市了,股票代码 ESTC,当日股票涨幅超过100%,超越14年阿里巴巴,开盘价创有史以来新高。
Elastic这么受欢迎,说明大家手里的 Elastic 技术更值钱了,那么在国内的年度开发者交流大会更是不能错过啦,并且现在福利来了,大会门票抢购中,[https://www.bagevent.com/event ... 50OFF](https://www.bagevent.com/event ... D50OFF) 手快有,手慢无啊!
知道 ELK 么?知道 Elasticsearch 么?目前最流行的开源数据库及分析类软件,目前已新晋级到数据库兵器谱排名第七位,搜索引擎排行榜长期霸占第一位,想要了解更多他的本事,快来了解一下他的官方用户大会:Elastic 中国开发者大会,时间2018年11月10日周六,地点深圳金茂 JW 万豪酒店。届时,将有来自 Elastic、eBay、暴雪、Grab、华为、阿里巴巴、顺丰等公司的25位各领域的专家大拿为你带来围绕 Elastic 开源技术的各自精彩干货分享。
Elastic Stack 作为目前全球最流行的数据搜索与实时分析引擎套件,其产品累计下载次数已超过三亿五千万次,各行各业从一线互联网公司到传统的行业都能找到使用 Elasticsearch 的身影。Elastic 的开源技术正越来越受到众多开发者的青睐,已然成为大数据领域分析工具的最佳选择。
[来自 db-engines.com的最新综合排名]
Elastic 中国开发者大会 2018(Elastic Developers China 2018)是由 Elastic 官方在中国举办的第二次开发者大会,主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。
举办 Elastic 开发者大会的目的是为中国广大的 Elastic 开发者提供一个技术交流和学习切磋的地方,汇集业界众多的成功案例,集思广益,发散思维,促进社区和行业的进步。
不管您是 Elasticsearch 的初学者还是资深的用户,您都应该参加!
大会亮点
01 部分精彩议题
- Beats 创始人 Monica Sarbu 带来的运维分析的三连击
- 新产品 Codesearch(原 Insight.io) 的初次亮相
- Elastic 内部是如何使用 Elastic 产品的案例
- 暴雪中国借助 ELK 运营游戏的经验分享
- 东南亚打车软件 Grab 的 POI 搜索平台迁移史
- 东半球对 Kibana 二次开发最多团队带来的经验分享
- 千亿数据规模下的 Elasticsearch 深度应用
- Elasticsearch 和 AI 的深度结合与用户画像系统
更多在互联网、证券、快递、新零售、安全等领域的分享,点击[这里](https://www.bagevent.com/event ... D50OFF)了解更多
02 部分嘉宾阵容
03 Elastic AMA 展台
AMA 即 Ask Me Anything,意思是尽管随便问,您可以在大会当天,尽情的在现场咨询 Elastic 官方工作人员任意的问题,可以是技术的咨询,可以是特性的讲解,可以是最佳实践,可以是商务合作。AMA 展台,您一定不要错过。
04 Elastic Demo 展台
如果您对 Elastic 能够帮您做哪些事情比较感兴趣,最直观的方式就是来到 Elastic 的 Demo 展台,现场有 Elastic 技术专家为您讲解各种酷炫的 Demo 以及具体的如何使用 Elastic Stack 来完成特定的任务。 Demo 展台有趣又好玩,记得打卡。
05 闪电演讲
您也来讲讲,大会的最后一个环节名叫闪电演讲,参会者可以现场报名,每位分享者可以有5分钟的时间来进行分享,可以是任何相关的话题,可以是 Demo 演示,可以是技术脱口秀,或是您的一个开源的项目,名额有限,先报先得。
最后,赶紧报名吧!
[https://www.bagevent.com/event ... 50OFF](https://www.bagevent.com/event ... D50OFF)
kibana aggregations 中buckets 怎么获取全部?默认是10条?
回复Kibana • yuxia6895 回复了问题 • 1 人关注 • 1 个回复 • 6452 次浏览 • 2018-08-28 17:25
kibana Dashboard 如何实现选项卡模式显示,如下图模式
回复Kibana • yoling1985 发起了问题 • 2 人关注 • 0 个回复 • 2942 次浏览 • 2018-08-28 14:30
听说你还没掌握 Normalizer 的使用方法?
Elasticsearch • rockybean 发表了文章 • 2 个评论 • 4172 次浏览 • 2018-08-28 12:43
在 Elasticsearch 中处理字符串类型的数据时,如果我们想把整个字符串作为一个完整的 term 存储,我们通常会将其类型 type
设定为 keyword
。但有时这种设定又会给我们带来麻烦,比如同一个数据再写入时由于没有做好清洗,导致大小写不一致,比如 apple
、Apple
两个实际都是 apple
,但当我们去搜索 apple
时却无法返回 Apple
的文档。要解决这个问题,就需要 Normalizer
出场了。废话不多说,直接上手看!
1. 上手
我们先来重现一下开篇的问题
```json
PUT test_normalizer
{
"mappings": {
"doc":{
"properties": {
"type":{
"type":"keyword"
}
}
}
}
}
PUT test_normalizer/doc/1
{
"type":"apple"
}
PUT test_normalizer/doc/2
{
"type":"Apple"
}
查询一
GET test_normalizer/_search
{
"query": {
"match":{
"type":"apple"
}
}
}
查询二
GET test_normalizer/_search
{
"query": {
"match":{
"type":"aPple"
}
}
}
``<br /> <br /> 大家执行后会发现
查询一返回了文档1,而
查询二`没有文档返回,原因如下图所示:
![](http://p8z8qq24s.bkt.clouddn.c ... 30.png)
Docs
写入Elasticsearch
时由于type
是keyword
,分词结果为原始字符串- 查询 Query 时分词默认是采用和字段写时相同的配置,因此这里也是
keyword
,因此分词结果也是原始字符 - 两边的分词进行匹对,便得出了我们上面的结果
2. Normalizer
normalizer
是keyword
的一个属性,可以对keyword
生成的单一Term
再做进一步的处理,比如lowercase
,即做小写变换。使用方法和自定义分词器有些类似,需要自定义,如下所示:
```json
DELETE test_normalizer自定义 normalizer
PUT test_normalizer
{
"settings": {
"analysis": {
"normalizer": {
"lowercase": {
"type": "custom",
"filter": [
"lowercase"
]
}
}
}
},
"mappings": {
"doc": {
"properties": {
"type": {
"type": "keyword"
},
"type_normalizer": {
"type": "keyword",
"normalizer": "lowercase"
}
}
}
}
}
PUT test_normalizer/doc/1
{
"type": "apple",
"type_normalizer": "apple"
}
PUT test_normalizer/doc/2
{
"type": "Apple",
"type_normalizer": "Apple"
}查询三
GET test_normalizer/_search
{
"query": {
"term":{
"type":"aPple"
}
}
}
查询四
GET test_normalizer/_search
{
"query": {
"term":{
"type_normalizer":"aPple"
}
}
}
``<br /> <br /> 我们第一步是自定义了名为
lowercase的 normalizer,其中
filter类似自定义分词器中的
filter,但是可用的种类很少,详情大家可以查看官方文档。然后通过
normalizer属性设定到字段
type_normalizer中,然后插入相同的2条文档。执行发现,
查询三无结果返回,
查询四`返回2条文档。
问题解决了!我们来看下是如何解决的
![](http://p8z8qq24s.bkt.clouddn.c ... 00.png)
- 文档写入时由于加入了
normalizer
,所有的term
都会被做小写处理 - 查询时搜索词同样采用有
normalizer
的配置,因此处理后的term
也是小写的 - 两边分词匹对,就得到了我们上面的结果
3. 总结
本文通过一个实例来给大家讲解了Normalizer
的实际使用场景,希望对大家有所帮助!
![](http://p8z8qq24s.bkt.clouddn.c ... 24.png)
请问x-pack免费版和商用版的区别
Elasticsearch • zqc0512 回复了问题 • 3 人关注 • 2 个回复 • 9765 次浏览 • 2018-08-28 11:44
filebeat向logstash传值的配
Logstash • zyy 回复了问题 • 2 人关注 • 3 个回复 • 2432 次浏览 • 2018-08-28 10:40
线程池满 task_max_waiting_in_queue_millis" : 1290824 很大 es 写不进去数据了 怎么办
Elasticsearch • zqc0512 回复了问题 • 3 人关注 • 1 个回复 • 2888 次浏览 • 2018-08-28 10:22
地理位置过滤盒模型精准度的问题
Elasticsearch • kennywu76 回复了问题 • 6 人关注 • 2 个回复 • 2017 次浏览 • 2018-08-28 09:52