你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
发现
分享
文章
活动
登录
不为失败找理由,要为成功找方法。
ES单type属性个数的限制
Elasticsearch
| 作者
fanmo3yuan
| 发布于2017年01月10日 | 阅读数:
7103
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
使用ES做hbase的二级索引,字段数比较多2000+,这么多的字段在同一个type中会不会有问题
没有找到相关结果
已邀请:
与内容相关的链接
提交
1 个回复
kennywu76
-
Wood
赞同来自:
大的问题没有,但是要考虑一下数据模型是否应该稍微设计一下,从而更高效的利用ES的资源。
问2个问题:
1. HBASE里的数据是否基本都有2000个字段?
2. 是否需要用到ES按字段做排序或者聚合计算?
如果需要通过ES做排序和聚合计算,那么就要用到doc values,而目前Lucene里doc values的实现是使用文档ID做为索引的,意味这为每条文档都要保留固定的存储空间。 如果HBASE里的数据非常稀疏,那么磁盘空间使用方面可能不够高效。 比如即使一个文档只有十几个字段,在doc values存储方面的空间消耗依然要付出2000个字段的代价。
因此如果hbase里数据已经很稠密了,多数文档差不多都是2000+字段的,那么也就只能全部放在一个type里索引了, 否则应该考虑不同类型的文档索引到不同的ES索引里面去。
或者只需要用ES做索引,不需要按字段排序和做聚合,也可以关闭doc values。
要回复问题请先
登录
或
注册
发起人
fanmo3yuan
活动推荐
Jun
17
搜索客 Meetup 讲师招募(长期有效)
线上
·
6-17 周一
·
进行中
Nov
30
【活动报名】ClickHouse Beijing User Group 第2届 Meetup
北京
·
11-30 周六
·
报名中
相关问题
怎么解决elasticsearch集群占用太多虚拟内存(VIRT)的问题?占用了几十个G,有什么可以对它进行限制的相关设置吗?
5.X 版本多type 的 es 数据迁移到6.1
ES索引的segments数量如何限制?
es索引更新时通过mapping限制指定字段更新
ES中多个type关联
按照用户Id分桶后,统计每个id出现的次数之后,如何再按照id出现次数再次分桶,统计某次数范围内包含id的个数
关于_type 与 _doc 我该怎么理解?
transportClient有连接数限制吗
在es2.1版本中如何删除一个type下的数据
elasticsearch 在集群shard个数达到15000以上的时候,create/delete index 慢
萌新求问,es分index还是分type?
问题状态
最新活动:
2017-01-10 18:24
浏览:
7103
关注:
4
人
1 个回复
kennywu76 - Wood
赞同来自:
问2个问题:
1. HBASE里的数据是否基本都有2000个字段?
2. 是否需要用到ES按字段做排序或者聚合计算?
如果需要通过ES做排序和聚合计算,那么就要用到doc values,而目前Lucene里doc values的实现是使用文档ID做为索引的,意味这为每条文档都要保留固定的存储空间。 如果HBASE里的数据非常稀疏,那么磁盘空间使用方面可能不够高效。 比如即使一个文档只有十几个字段,在doc values存储方面的空间消耗依然要付出2000个字段的代价。
因此如果hbase里数据已经很稠密了,多数文档差不多都是2000+字段的,那么也就只能全部放在一个type里索引了, 否则应该考虑不同类型的文档索引到不同的ES索引里面去。
或者只需要用ES做索引,不需要按字段排序和做聚合,也可以关闭doc values。