elasticsearch java api 增删改 操作
--添加数据
IndexRequestBuilder requestBuilder = null;
requestBuilder = client.prepareIndex(index, type, key).setRefresh(false);
requestBuilder.setSource(value).get();
--批量数据
BulkRequestBuilder bulkRequest = null;
bulkRequest = client.prepareBulk();
for (Map.Entry<String, Object> map : doc.entrySet()) {
bulkRequest.add(client.prepareIndex(index, type, map.getKey())
.setSource(CouchbaseUtil.GJSON.toJson(map.getValue())).setRefresh(false));
}
bulkRequest.get();
bulkRequest.request().requests().clear();
--更新数据
client.prepareUpdate().setIndex(index).setType(type).setId(id).setDoc(map).get();
--批量删除数据
BulkRequestBuilder bulk = null;
bulk = client.prepareBulk();
for (String id : ids) {
bulk.add(client.prepareDelete().setIndex(index).setType(type).setId(id));
}
bulk.get();
继续阅读 »
IndexRequestBuilder requestBuilder = null;
requestBuilder = client.prepareIndex(index, type, key).setRefresh(false);
requestBuilder.setSource(value).get();
--批量数据
BulkRequestBuilder bulkRequest = null;
bulkRequest = client.prepareBulk();
for (Map.Entry<String, Object> map : doc.entrySet()) {
bulkRequest.add(client.prepareIndex(index, type, map.getKey())
.setSource(CouchbaseUtil.GJSON.toJson(map.getValue())).setRefresh(false));
}
bulkRequest.get();
bulkRequest.request().requests().clear();
--更新数据
client.prepareUpdate().setIndex(index).setType(type).setId(id).setDoc(map).get();
--批量删除数据
BulkRequestBuilder bulk = null;
bulk = client.prepareBulk();
for (String id : ids) {
bulk.add(client.prepareDelete().setIndex(index).setType(type).setId(id));
}
bulk.get();
--添加数据
IndexRequestBuilder requestBuilder = null;
requestBuilder = client.prepareIndex(index, type, key).setRefresh(false);
requestBuilder.setSource(value).get();
--批量数据
BulkRequestBuilder bulkRequest = null;
bulkRequest = client.prepareBulk();
for (Map.Entry<String, Object> map : doc.entrySet()) {
bulkRequest.add(client.prepareIndex(index, type, map.getKey())
.setSource(CouchbaseUtil.GJSON.toJson(map.getValue())).setRefresh(false));
}
bulkRequest.get();
bulkRequest.request().requests().clear();
--更新数据
client.prepareUpdate().setIndex(index).setType(type).setId(id).setDoc(map).get();
--批量删除数据
BulkRequestBuilder bulk = null;
bulk = client.prepareBulk();
for (String id : ids) {
bulk.add(client.prepareDelete().setIndex(index).setType(type).setId(id));
}
bulk.get(); 收起阅读 »
IndexRequestBuilder requestBuilder = null;
requestBuilder = client.prepareIndex(index, type, key).setRefresh(false);
requestBuilder.setSource(value).get();
--批量数据
BulkRequestBuilder bulkRequest = null;
bulkRequest = client.prepareBulk();
for (Map.Entry<String, Object> map : doc.entrySet()) {
bulkRequest.add(client.prepareIndex(index, type, map.getKey())
.setSource(CouchbaseUtil.GJSON.toJson(map.getValue())).setRefresh(false));
}
bulkRequest.get();
bulkRequest.request().requests().clear();
--更新数据
client.prepareUpdate().setIndex(index).setType(type).setId(id).setDoc(map).get();
--批量删除数据
BulkRequestBuilder bulk = null;
bulk = client.prepareBulk();
for (String id : ids) {
bulk.add(client.prepareDelete().setIndex(index).setType(type).setId(id));
}
bulk.get(); 收起阅读 »
elasticsearch遍历所有数据集
BoolQueryBuilder bool=QueryBuilders.boolQuery();
SearchResponse searchResponse = esClient.prepareSearch("index")
.setTypes("type")
.setSize(10000)
//这个游标维持多长时间
.setScroll(TimeValue.timeValueMinutes(8))
.execute().actionGet();
System.out.println(searchResponse.getHits().getTotalHits());
while(true){
for (SearchHit hit : searchResponse.getHits()) {
System.out.println(hit.getSourceAsString()));
}
searchResponse = esClient.prepareSearchScroll(searchResponse.getScrollId())
.setScroll(TimeValue.timeValueMinutes(8))
.execute().actionGet();
if (searchResponse.getHits().getHits().length == 0) {
break;
}
}
继续阅读 »
SearchResponse searchResponse = esClient.prepareSearch("index")
.setTypes("type")
.setSize(10000)
//这个游标维持多长时间
.setScroll(TimeValue.timeValueMinutes(8))
.execute().actionGet();
System.out.println(searchResponse.getHits().getTotalHits());
while(true){
for (SearchHit hit : searchResponse.getHits()) {
System.out.println(hit.getSourceAsString()));
}
searchResponse = esClient.prepareSearchScroll(searchResponse.getScrollId())
.setScroll(TimeValue.timeValueMinutes(8))
.execute().actionGet();
if (searchResponse.getHits().getHits().length == 0) {
break;
}
}
BoolQueryBuilder bool=QueryBuilders.boolQuery();
SearchResponse searchResponse = esClient.prepareSearch("index")
.setTypes("type")
.setSize(10000)
//这个游标维持多长时间
.setScroll(TimeValue.timeValueMinutes(8))
.execute().actionGet();
System.out.println(searchResponse.getHits().getTotalHits());
while(true){
for (SearchHit hit : searchResponse.getHits()) {
System.out.println(hit.getSourceAsString()));
}
searchResponse = esClient.prepareSearchScroll(searchResponse.getScrollId())
.setScroll(TimeValue.timeValueMinutes(8))
.execute().actionGet();
if (searchResponse.getHits().getHits().length == 0) {
break;
}
} 收起阅读 »
SearchResponse searchResponse = esClient.prepareSearch("index")
.setTypes("type")
.setSize(10000)
//这个游标维持多长时间
.setScroll(TimeValue.timeValueMinutes(8))
.execute().actionGet();
System.out.println(searchResponse.getHits().getTotalHits());
while(true){
for (SearchHit hit : searchResponse.getHits()) {
System.out.println(hit.getSourceAsString()));
}
searchResponse = esClient.prepareSearchScroll(searchResponse.getScrollId())
.setScroll(TimeValue.timeValueMinutes(8))
.execute().actionGet();
if (searchResponse.getHits().getHits().length == 0) {
break;
}
} 收起阅读 »
南京Elastic社区第一次线下活动
1. 主办方
Elastic中文社区 趋势科技
2. 时间地点
活动时间：2016年6月25日 14:00 - 17:30
活动地点：雨花区软件大道48号苏豪国际广场B座（靠花神庙地铁站）
3. 主题
分享一：ES和Kibana在实时流量分析中的应用
演讲者简介：
杨润达 南京云利来软件科技有限公司研发部
主题简介：
流量的抓取和存储，流量的可视化，有关流量异常的案例分析，在线的kibana功能展示。
分享二：ELK平台SaaS化的问题和解决方案
演讲者简介：
王晓亮（Tomo Wang） 瀚思安信高级研发工程师
毕业于南京大学，曾就职于趋势科技、Opera，现任瀚思安信高级研发工程师，负责瀚思在线安全分析平台“安全易”的研发工作。
主题简介：
ELK（ElasticSearch，Logstash，Kibana）是一套有效的开源日志分析平台，它们作为工具使用非常便利，但是如果要围绕它们搭建在线服务，却有诸多问题。这次的分享主要介绍“安全易”在SaaS化ELK平台的过程中遇到的问题以及对应的技术方案。
分享三：ES在苏宁海量日志平台的实践
演讲者简介：
彭燕卿 苏宁云商IT总部监控研发中心技术副总监
9年软件研发经验，09年加入苏宁,先后从事了SOA系统开发、苏宁易购等大型网站的性能分析调优、监控平台等系统研发和架构工作，目前主要从事苏宁监控系统架构及技术管理工作，专注于APM以及Elasticsearch等实时计算领域。
主题简介：
实时日志平台ES架构演变，ES使用过程中遇到的坑及调优，Kibana二次开发等。
分享四：甲方安全看日志消息在ELK中的流转
演讲者简介：
李天爽 闻心科技上海研发中心总监
毕业于南京大学，曾担任趋势科技高级工程师，携程信息安全部资深安全研发工程师。
主题简介：
分享携程的日志平台架构、安全事件在ELK中的生命周期、ES的权限方案等。
分享五：ES在移动病毒分析和检测中的应用
演讲者简介：
李啸（White Li） 趋势科技中国研发中心资深工程师
毕业于南京邮电大学，曾就职于小米、百度，专注于大规模分布式系统的架构和运维，现负责趋势科技移动安全专家系统的开发工作。
主题简介：
介绍ES在样本分析、检测系统中的应用和逐步演变，重点探讨碰到的问题和解决方案。
4. 主题slides
ES南京meetup资料
继续阅读 »
Elastic中文社区 趋势科技
2. 时间地点
活动时间：2016年6月25日 14:00 - 17:30
活动地点：雨花区软件大道48号苏豪国际广场B座（靠花神庙地铁站）
3. 主题
分享一：ES和Kibana在实时流量分析中的应用
演讲者简介：
杨润达 南京云利来软件科技有限公司研发部
主题简介：
流量的抓取和存储，流量的可视化，有关流量异常的案例分析，在线的kibana功能展示。
分享二：ELK平台SaaS化的问题和解决方案
演讲者简介：
王晓亮（Tomo Wang） 瀚思安信高级研发工程师
毕业于南京大学，曾就职于趋势科技、Opera，现任瀚思安信高级研发工程师，负责瀚思在线安全分析平台“安全易”的研发工作。
主题简介：
ELK（ElasticSearch，Logstash，Kibana）是一套有效的开源日志分析平台，它们作为工具使用非常便利，但是如果要围绕它们搭建在线服务，却有诸多问题。这次的分享主要介绍“安全易”在SaaS化ELK平台的过程中遇到的问题以及对应的技术方案。
分享三：ES在苏宁海量日志平台的实践
演讲者简介：
彭燕卿 苏宁云商IT总部监控研发中心技术副总监
9年软件研发经验，09年加入苏宁,先后从事了SOA系统开发、苏宁易购等大型网站的性能分析调优、监控平台等系统研发和架构工作，目前主要从事苏宁监控系统架构及技术管理工作，专注于APM以及Elasticsearch等实时计算领域。
主题简介：
实时日志平台ES架构演变，ES使用过程中遇到的坑及调优，Kibana二次开发等。
分享四：甲方安全看日志消息在ELK中的流转
演讲者简介：
李天爽 闻心科技上海研发中心总监
毕业于南京大学，曾担任趋势科技高级工程师，携程信息安全部资深安全研发工程师。
主题简介：
分享携程的日志平台架构、安全事件在ELK中的生命周期、ES的权限方案等。
分享五：ES在移动病毒分析和检测中的应用
演讲者简介：
李啸（White Li） 趋势科技中国研发中心资深工程师
毕业于南京邮电大学，曾就职于小米、百度，专注于大规模分布式系统的架构和运维，现负责趋势科技移动安全专家系统的开发工作。
主题简介：
介绍ES在样本分析、检测系统中的应用和逐步演变，重点探讨碰到的问题和解决方案。
4. 主题slides
ES南京meetup资料
1. 主办方
Elastic中文社区 趋势科技
2. 时间地点
活动时间：2016年6月25日 14:00 - 17:30
活动地点：雨花区软件大道48号苏豪国际广场B座（靠花神庙地铁站）
3. 主题
分享一：ES和Kibana在实时流量分析中的应用
演讲者简介：
杨润达 南京云利来软件科技有限公司研发部
主题简介：
流量的抓取和存储，流量的可视化，有关流量异常的案例分析，在线的kibana功能展示。
分享二：ELK平台SaaS化的问题和解决方案
演讲者简介：
王晓亮（Tomo Wang） 瀚思安信高级研发工程师
毕业于南京大学，曾就职于趋势科技、Opera，现任瀚思安信高级研发工程师，负责瀚思在线安全分析平台“安全易”的研发工作。
主题简介：
ELK（ElasticSearch，Logstash，Kibana）是一套有效的开源日志分析平台，它们作为工具使用非常便利，但是如果要围绕它们搭建在线服务，却有诸多问题。这次的分享主要介绍“安全易”在SaaS化ELK平台的过程中遇到的问题以及对应的技术方案。
分享三：ES在苏宁海量日志平台的实践
演讲者简介：
彭燕卿 苏宁云商IT总部监控研发中心技术副总监
9年软件研发经验，09年加入苏宁,先后从事了SOA系统开发、苏宁易购等大型网站的性能分析调优、监控平台等系统研发和架构工作，目前主要从事苏宁监控系统架构及技术管理工作，专注于APM以及Elasticsearch等实时计算领域。
主题简介：
实时日志平台ES架构演变，ES使用过程中遇到的坑及调优，Kibana二次开发等。
分享四：甲方安全看日志消息在ELK中的流转
演讲者简介：
李天爽 闻心科技上海研发中心总监
毕业于南京大学，曾担任趋势科技高级工程师，携程信息安全部资深安全研发工程师。
主题简介：
分享携程的日志平台架构、安全事件在ELK中的生命周期、ES的权限方案等。
分享五：ES在移动病毒分析和检测中的应用
演讲者简介：
李啸（White Li） 趋势科技中国研发中心资深工程师
毕业于南京邮电大学，曾就职于小米、百度，专注于大规模分布式系统的架构和运维，现负责趋势科技移动安全专家系统的开发工作。
主题简介：
介绍ES在样本分析、检测系统中的应用和逐步演变，重点探讨碰到的问题和解决方案。
4. 主题slides
ES南京meetup资料
收起阅读 »
Elastic中文社区 趋势科技
2. 时间地点
活动时间：2016年6月25日 14:00 - 17:30
活动地点：雨花区软件大道48号苏豪国际广场B座（靠花神庙地铁站）
3. 主题
分享一：ES和Kibana在实时流量分析中的应用
演讲者简介：
杨润达 南京云利来软件科技有限公司研发部
主题简介：
流量的抓取和存储，流量的可视化，有关流量异常的案例分析，在线的kibana功能展示。
分享二：ELK平台SaaS化的问题和解决方案
演讲者简介：
王晓亮（Tomo Wang） 瀚思安信高级研发工程师
毕业于南京大学，曾就职于趋势科技、Opera，现任瀚思安信高级研发工程师，负责瀚思在线安全分析平台“安全易”的研发工作。
主题简介：
ELK（ElasticSearch，Logstash，Kibana）是一套有效的开源日志分析平台，它们作为工具使用非常便利，但是如果要围绕它们搭建在线服务，却有诸多问题。这次的分享主要介绍“安全易”在SaaS化ELK平台的过程中遇到的问题以及对应的技术方案。
分享三：ES在苏宁海量日志平台的实践
演讲者简介：
彭燕卿 苏宁云商IT总部监控研发中心技术副总监
9年软件研发经验，09年加入苏宁,先后从事了SOA系统开发、苏宁易购等大型网站的性能分析调优、监控平台等系统研发和架构工作，目前主要从事苏宁监控系统架构及技术管理工作，专注于APM以及Elasticsearch等实时计算领域。
主题简介：
实时日志平台ES架构演变，ES使用过程中遇到的坑及调优，Kibana二次开发等。
分享四：甲方安全看日志消息在ELK中的流转
演讲者简介：
李天爽 闻心科技上海研发中心总监
毕业于南京大学，曾担任趋势科技高级工程师，携程信息安全部资深安全研发工程师。
主题简介：
分享携程的日志平台架构、安全事件在ELK中的生命周期、ES的权限方案等。
分享五：ES在移动病毒分析和检测中的应用
演讲者简介：
李啸（White Li） 趋势科技中国研发中心资深工程师
毕业于南京邮电大学，曾就职于小米、百度，专注于大规模分布式系统的架构和运维，现负责趋势科技移动安全专家系统的开发工作。
主题简介：
介绍ES在样本分析、检测系统中的应用和逐步演变，重点探讨碰到的问题和解决方案。
4. 主题slides
ES南京meetup资料
收起阅读 »
杭州 Elastic社区第一次线下活动 开始报名啦！！！
PPT下载地址:
百度云盘: http://pan.baidu.com/s/1slQn93v 提取码:jqqi
淘云盘： http://yunpan.taobao.com/s/E2TDSFivxt 提取码: vwIWlm
Elastic 中文社区联手杭州码耘网络共同举办第一次线下聚会，欢迎对elastic、搜索、大数据等技术感兴趣的朋友来玩玩
分享主题 :
报名方式：
乘车：
附近公交站:
地铁：
ps : 如果到了滨江不认识路，可以打我手机(15858279062) 我可以来接你。
继续阅读 »
百度云盘: http://pan.baidu.com/s/1slQn93v 提取码:jqqi
淘云盘： http://yunpan.taobao.com/s/E2TDSFivxt 提取码: vwIWlm
Elastic 中文社区联手杭州码耘网络共同举办第一次线下聚会，欢迎对elastic、搜索、大数据等技术感兴趣的朋友来玩玩
- 时间：2016-6-18 13:00:00
- 地点：杭州市滨江区上峰电商产品园1-227(从聚才路门口进来会比较近，离阿里网易5分钟路程)
分享主题 :
- 有赞搜索引擎实践 —— 洪斌@有赞大数据团队负责人
- Elastic结合Hbase的应用实践 —— 汪兴@浙大中控
- 购阿购数据分析平台对Elasticsearch使用实践 —— 万斌@北京购阿购技术服务有限公司
- beats介绍与扩展 —— 曾勇@elastic
- 基于ELK的云日志产品实践 —— 宁海元@袋鼠云
- elasticsearch-jdbc介绍以及基于binlog的增量数据同步方案 —— 卢栋@码耘网络
报名方式：
- 扫描下面微信二维码加入杭州Elastic聚会群，成功加入即算报名成功
- 无法扫描的同学加我微信(573513542)，我来拉你进群
乘车：
附近公交站:
- 秋溢路聚才路口(139路直达)
- 江虹路秋溢路口(139路、175路)
- 滨安路江虹路口(225、B支6 路）
地铁：
- 坐到滨和路站或者西兴站，然后打车过来起步价
ps : 如果到了滨江不认识路，可以打我手机(15858279062) 我可以来接你。
PPT下载地址:
百度云盘: http://pan.baidu.com/s/1slQn93v 提取码:jqqi
淘云盘： http://yunpan.taobao.com/s/E2TDSFivxt 提取码: vwIWlm
Elastic 中文社区联手杭州码耘网络共同举办第一次线下聚会，欢迎对elastic、搜索、大数据等技术感兴趣的朋友来玩玩
分享主题 :
报名方式：
乘车：
附近公交站:
地铁：
ps : 如果到了滨江不认识路，可以打我手机(15858279062) 我可以来接你。
收起阅读 »
百度云盘: http://pan.baidu.com/s/1slQn93v 提取码:jqqi
淘云盘： http://yunpan.taobao.com/s/E2TDSFivxt 提取码: vwIWlm
Elastic 中文社区联手杭州码耘网络共同举办第一次线下聚会，欢迎对elastic、搜索、大数据等技术感兴趣的朋友来玩玩
- 时间：2016-6-18 13:00:00
- 地点：杭州市滨江区上峰电商产品园1-227(从聚才路门口进来会比较近，离阿里网易5分钟路程)
分享主题 :
- 有赞搜索引擎实践 —— 洪斌@有赞大数据团队负责人
- Elastic结合Hbase的应用实践 —— 汪兴@浙大中控
- 购阿购数据分析平台对Elasticsearch使用实践 —— 万斌@北京购阿购技术服务有限公司
- beats介绍与扩展 —— 曾勇@elastic
- 基于ELK的云日志产品实践 —— 宁海元@袋鼠云
- elasticsearch-jdbc介绍以及基于binlog的增量数据同步方案 —— 卢栋@码耘网络
报名方式：
- 扫描下面微信二维码加入杭州Elastic聚会群，成功加入即算报名成功
- 无法扫描的同学加我微信(573513542)，我来拉你进群
乘车：
附近公交站:
- 秋溢路聚才路口(139路直达)
- 江虹路秋溢路口(139路、175路)
- 滨安路江虹路口(225、B支6 路）
地铁：
- 坐到滨和路站或者西兴站，然后打车过来起步价
ps : 如果到了滨江不认识路，可以打我手机(15858279062) 我可以来接你。
收起阅读 »
【招聘】ML/ES/DOCKER方向兼职培训师/讲师
公司介绍：NobleProg（诺波中国），公司成立于2005年，总部设在英国伦敦并在欧洲和美国建立了特许经营和分公司。2015年来到中国，面对国内企业提供人工智能、IT、统计、管理、编程的培训和咨询服务。
聘Machine Learning/Elasticserach/Ducker and kubemetes三个方向兼职培训师/讲师。
基本要求如下：
1、具有丰富的理论知识和技能；
2、有一定的项目经验（这包括你是项目leader或项目组成员）；
3、有培训师或讲师的经验最佳；
4、可以依据我们提供的培训大纲结合客户需求做出培训计划；
5、可授受出差（视项目决定）；
6、可接受兼职；
7、薪资待遇请与我们商谈。
公司网站：http://www.nobleprog.cn/training
对以上招聘信息感兴趣，请与我们联系。
Tina
手机：18610650025
QQ：1575119117
继续阅读 »
聘Machine Learning/Elasticserach/Ducker and kubemetes三个方向兼职培训师/讲师。
基本要求如下：
1、具有丰富的理论知识和技能；
2、有一定的项目经验（这包括你是项目leader或项目组成员）；
3、有培训师或讲师的经验最佳；
4、可以依据我们提供的培训大纲结合客户需求做出培训计划；
5、可授受出差（视项目决定）；
6、可接受兼职；
7、薪资待遇请与我们商谈。
公司网站：http://www.nobleprog.cn/training
对以上招聘信息感兴趣，请与我们联系。
Tina
手机：18610650025
QQ：1575119117
公司介绍：NobleProg（诺波中国），公司成立于2005年，总部设在英国伦敦并在欧洲和美国建立了特许经营和分公司。2015年来到中国，面对国内企业提供人工智能、IT、统计、管理、编程的培训和咨询服务。
聘Machine Learning/Elasticserach/Ducker and kubemetes三个方向兼职培训师/讲师。
基本要求如下：
1、具有丰富的理论知识和技能；
2、有一定的项目经验（这包括你是项目leader或项目组成员）；
3、有培训师或讲师的经验最佳；
4、可以依据我们提供的培训大纲结合客户需求做出培训计划；
5、可授受出差（视项目决定）；
6、可接受兼职；
7、薪资待遇请与我们商谈。
公司网站：http://www.nobleprog.cn/training
对以上招聘信息感兴趣，请与我们联系。
Tina
手机：18610650025
QQ：1575119117 收起阅读 »
聘Machine Learning/Elasticserach/Ducker and kubemetes三个方向兼职培训师/讲师。
基本要求如下：
1、具有丰富的理论知识和技能；
2、有一定的项目经验（这包括你是项目leader或项目组成员）；
3、有培训师或讲师的经验最佳；
4、可以依据我们提供的培训大纲结合客户需求做出培训计划；
5、可授受出差（视项目决定）；
6、可接受兼职；
7、薪资待遇请与我们商谈。
公司网站：http://www.nobleprog.cn/training
对以上招聘信息感兴趣，请与我们联系。
Tina
手机：18610650025
QQ：1575119117 收起阅读 »
Tina 发表于 : 2016-05-24 21:21
评论 (0)
发布个es迁移工具：elasticsearch-migration
https://github.com/medcl/elasticsearch-migration
支持多个版本间的数据迁移，使用scroll+bulk
1.版本支持1.x,2.x.5.0 (0.x未测试)
2.支持http basic auth 认证的es集群
3.支持导入覆盖索引名称（目前只支持单个索引导入的情况下可指定）
4.支持index setting和mapping的同步（相关es大版本，2.x和5.0之间不支持）
5.支持dump到本地文件
6.支持从dump文件加载导入到指定索引
欢迎测试！
继续阅读 »
支持多个版本间的数据迁移，使用scroll+bulk
1.版本支持1.x,2.x.5.0 (0.x未测试)
2.支持http basic auth 认证的es集群
3.支持导入覆盖索引名称（目前只支持单个索引导入的情况下可指定）
4.支持index setting和mapping的同步（相关es大版本，2.x和5.0之间不支持）
5.支持dump到本地文件
6.支持从dump文件加载导入到指定索引
欢迎测试！
#copy index index_name from 192.168.1.x to 192.168.1.y:9200
./bin/esm -s http://192.168.1.x:9200 -d http://192.168.1.y:9200 -x index_name -w=5 -b=10 -c 10000
#copy index src_index from 192.168.1.x to 192.168.1.y:9200 and save with dest_index
./bin/esm -s http://localhost:9200 -d http://localhost:9200 -x src_index -y dest_index -w=5 -b=100
#support Basic-Auth
./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index" -d http://localhost:9201 -n admin:111111
#copy settings and override shard size
./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index" -d http://localhost:9201 -m admin:111111 -c 10000 --shards=50 --copy_settings
#copy settings and mapping, recreate target index, add query to source fetch, refresh after migration
./bin/esm -s http://localhost:9200/ -x "src_index" -q=query:phone -y "dest_index" -d http://localhost:9201 -c 10000 --shards=5 --copy_settings --copy_mapping --force --refresh
#dump elasticsearch documents into local file
./bin/esm -s http://localhost:9200 -x "src_index" -m admin:111111 -c 5000 -b -q=query:mixer --refresh -o=dump.bin
#loading data from dump files, bulk insert to another es instance
./bin/esm -d http://localhost:9200 -y "dest_index" -n admin:111111 -c 5000 -b 5 --refresh -i=dump.bin
https://github.com/medcl/elasticsearch-migration
支持多个版本间的数据迁移，使用scroll+bulk
1.版本支持1.x,2.x.5.0 (0.x未测试)
2.支持http basic auth 认证的es集群
3.支持导入覆盖索引名称（目前只支持单个索引导入的情况下可指定）
4.支持index setting和mapping的同步（相关es大版本，2.x和5.0之间不支持）
5.支持dump到本地文件
6.支持从dump文件加载导入到指定索引
欢迎测试！
收起阅读 »
支持多个版本间的数据迁移，使用scroll+bulk
1.版本支持1.x,2.x.5.0 (0.x未测试)
2.支持http basic auth 认证的es集群
3.支持导入覆盖索引名称（目前只支持单个索引导入的情况下可指定）
4.支持index setting和mapping的同步（相关es大版本，2.x和5.0之间不支持）
5.支持dump到本地文件
6.支持从dump文件加载导入到指定索引
欢迎测试！
#copy index index_name from 192.168.1.x to 192.168.1.y:9200
./bin/esm -s http://192.168.1.x:9200 -d http://192.168.1.y:9200 -x index_name -w=5 -b=10 -c 10000
#copy index src_index from 192.168.1.x to 192.168.1.y:9200 and save with dest_index
./bin/esm -s http://localhost:9200 -d http://localhost:9200 -x src_index -y dest_index -w=5 -b=100
#support Basic-Auth
./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index" -d http://localhost:9201 -n admin:111111
#copy settings and override shard size
./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index" -d http://localhost:9201 -m admin:111111 -c 10000 --shards=50 --copy_settings
#copy settings and mapping, recreate target index, add query to source fetch, refresh after migration
./bin/esm -s http://localhost:9200/ -x "src_index" -q=query:phone -y "dest_index" -d http://localhost:9201 -c 10000 --shards=5 --copy_settings --copy_mapping --force --refresh
#dump elasticsearch documents into local file
./bin/esm -s http://localhost:9200 -x "src_index" -m admin:111111 -c 5000 -b -q=query:mixer --refresh -o=dump.bin
#loading data from dump files, bulk insert to another es instance
./bin/esm -d http://localhost:9200 -y "dest_index" -n admin:111111 -c 5000 -b 5 --refresh -i=dump.bin收起阅读 »
北京 Elastic社区第一次线下活动
1、主办方：
ElasticSearch中文社区 奇点机智
2、时间与地点：
5月15日14:00 - 17:30（周日）
北京海淀区中关村鼎好电子大厦太库孵化器路演厅
沙龙主题：
分享一：5miles基于es的对外搜索业务实践
王浩宇
5miles搜索工程师
主题简介：
和大家交流一些5miles对外搜索业务中的工作，例如基于es function_score 的rerank的实现，通过geohash减少请求，通过多个data center来实现请求异步，风险控制等
分享二： Elasticsearch与Spark的整合
祝威廉
多年大数据经验，现专注于Spark/ES 相关领域
主题简介：
个人对ElasticSearch 和 Spark的整合一些看法，简要介绍通过对elasticsearch-hadoop项目的改进，以Spark 和 ElasticSearch 为依托，构建一个Ad-Hoc 查询引擎。
分享三：ElasticStack 5.0 介绍
medcl
Developer@Elastic
主题简介：
ElasticStack 5.0的新特性介绍
活动流程：
13:00-13:45 签到及入场
13:45-14:00 主持人介绍活动
14:00-15:00 王浩宇 5miles基于es的对外搜索业务实践
15:00-16:00 祝威廉 ElasticSearch 与 Spark 的整合
16:00-16:30 茶歇与自由沟通
16:30-17:30 medcl ElasticStack 5.0 介绍
报名方式：
本次活动全程免费，欢迎报名
http://www.huodongxing.com/event/6334153926600#rd
活动联系：
联系人：凌霄
手机：18600209779
邮箱：hellolingxiao@gmail.com
想要加入Elastic北京微信群，扫描上方二维码加小助手拉你进群
继续阅读 »
ElasticSearch中文社区 奇点机智
2、时间与地点：
5月15日14:00 - 17:30（周日）
北京海淀区中关村鼎好电子大厦太库孵化器路演厅
沙龙主题：
分享一：5miles基于es的对外搜索业务实践
王浩宇
5miles搜索工程师
主题简介：
和大家交流一些5miles对外搜索业务中的工作，例如基于es function_score 的rerank的实现，通过geohash减少请求，通过多个data center来实现请求异步，风险控制等
分享二： Elasticsearch与Spark的整合
祝威廉
多年大数据经验，现专注于Spark/ES 相关领域
主题简介：
个人对ElasticSearch 和 Spark的整合一些看法，简要介绍通过对elasticsearch-hadoop项目的改进，以Spark 和 ElasticSearch 为依托，构建一个Ad-Hoc 查询引擎。
分享三：ElasticStack 5.0 介绍
medcl
Developer@Elastic
主题简介：
ElasticStack 5.0的新特性介绍
活动流程：
13:00-13:45 签到及入场
13:45-14:00 主持人介绍活动
14:00-15:00 王浩宇 5miles基于es的对外搜索业务实践
15:00-16:00 祝威廉 ElasticSearch 与 Spark 的整合
16:00-16:30 茶歇与自由沟通
16:30-17:30 medcl ElasticStack 5.0 介绍
报名方式：
本次活动全程免费，欢迎报名
http://www.huodongxing.com/event/6334153926600#rd
活动联系：
联系人：凌霄
手机：18600209779
邮箱：hellolingxiao@gmail.com
想要加入Elastic北京微信群，扫描上方二维码加小助手拉你进群
1、主办方：
ElasticSearch中文社区 奇点机智
2、时间与地点：
5月15日14:00 - 17:30（周日）
北京海淀区中关村鼎好电子大厦太库孵化器路演厅
沙龙主题：
分享一：5miles基于es的对外搜索业务实践
王浩宇
5miles搜索工程师
主题简介：
和大家交流一些5miles对外搜索业务中的工作，例如基于es function_score 的rerank的实现，通过geohash减少请求，通过多个data center来实现请求异步，风险控制等
分享二： Elasticsearch与Spark的整合
祝威廉
多年大数据经验，现专注于Spark/ES 相关领域
主题简介：
个人对ElasticSearch 和 Spark的整合一些看法，简要介绍通过对elasticsearch-hadoop项目的改进，以Spark 和 ElasticSearch 为依托，构建一个Ad-Hoc 查询引擎。
分享三：ElasticStack 5.0 介绍
medcl
Developer@Elastic
主题简介：
ElasticStack 5.0的新特性介绍
活动流程：
13:00-13:45 签到及入场
13:45-14:00 主持人介绍活动
14:00-15:00 王浩宇 5miles基于es的对外搜索业务实践
15:00-16:00 祝威廉 ElasticSearch 与 Spark 的整合
16:00-16:30 茶歇与自由沟通
16:30-17:30 medcl ElasticStack 5.0 介绍
报名方式：
本次活动全程免费，欢迎报名
http://www.huodongxing.com/event/6334153926600#rd
活动联系：
联系人：凌霄
手机：18600209779
邮箱：hellolingxiao@gmail.com
想要加入Elastic北京微信群，扫描上方二维码加小助手拉你进群
收起阅读 »
ElasticSearch中文社区 奇点机智
2、时间与地点：
5月15日14:00 - 17:30（周日）
北京海淀区中关村鼎好电子大厦太库孵化器路演厅
沙龙主题：
分享一：5miles基于es的对外搜索业务实践
王浩宇
5miles搜索工程师
主题简介：
和大家交流一些5miles对外搜索业务中的工作，例如基于es function_score 的rerank的实现，通过geohash减少请求，通过多个data center来实现请求异步，风险控制等
分享二： Elasticsearch与Spark的整合
祝威廉
多年大数据经验，现专注于Spark/ES 相关领域
主题简介：
个人对ElasticSearch 和 Spark的整合一些看法，简要介绍通过对elasticsearch-hadoop项目的改进，以Spark 和 ElasticSearch 为依托，构建一个Ad-Hoc 查询引擎。
分享三：ElasticStack 5.0 介绍
medcl
Developer@Elastic
主题简介：
ElasticStack 5.0的新特性介绍
活动流程：
13:00-13:45 签到及入场
13:45-14:00 主持人介绍活动
14:00-15:00 王浩宇 5miles基于es的对外搜索业务实践
15:00-16:00 祝威廉 ElasticSearch 与 Spark 的整合
16:00-16:30 茶歇与自由沟通
16:30-17:30 medcl ElasticStack 5.0 介绍
报名方式：
本次活动全程免费，欢迎报名
http://www.huodongxing.com/event/6334153926600#rd
活动联系：
联系人：凌霄
手机：18600209779
邮箱：hellolingxiao@gmail.com
想要加入Elastic北京微信群，扫描上方二维码加小助手拉你进群
收起阅读 »
es分词索引创建
{
"settings": {
"index": {
"number_of_replicas": "0",
"number_of_shards": "5",
"refresh_interval": "-1",
"translog.flush_threshold_ops": "100000"
}
},
"mappings": {
"etp_t": {
"properties": {
"dd": {
"type": "multi_field",
"fields": {
"pn": {
"type": "string",
"store": "yes",
"analyzer": "pinyin_first_letter",
"search_analyzer": "pinyin_first_letter"
},
"pk": {
"type": "string",
"store": "yes",
"analyzer": "pinyin_ngram_analyzer",
"search_analyzer": "pinyin_ngram_analyzer"
},
"cn": {
"type": "string",
"store": "yes",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word",
"term_vector": "with_positions_offsets",
"boost": 10
},
"un": {
"type": "string",
"index": "not_analyzed"
}
}
}
}
}
}
}
继续阅读 »
"settings": {
"index": {
"number_of_replicas": "0",
"number_of_shards": "5",
"refresh_interval": "-1",
"translog.flush_threshold_ops": "100000"
}
},
"mappings": {
"etp_t": {
"properties": {
"dd": {
"type": "multi_field",
"fields": {
"pn": {
"type": "string",
"store": "yes",
"analyzer": "pinyin_first_letter",
"search_analyzer": "pinyin_first_letter"
},
"pk": {
"type": "string",
"store": "yes",
"analyzer": "pinyin_ngram_analyzer",
"search_analyzer": "pinyin_ngram_analyzer"
},
"cn": {
"type": "string",
"store": "yes",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word",
"term_vector": "with_positions_offsets",
"boost": 10
},
"un": {
"type": "string",
"index": "not_analyzed"
}
}
}
}
}
}
}
{
"settings": {
"index": {
"number_of_replicas": "0",
"number_of_shards": "5",
"refresh_interval": "-1",
"translog.flush_threshold_ops": "100000"
}
},
"mappings": {
"etp_t": {
"properties": {
"dd": {
"type": "multi_field",
"fields": {
"pn": {
"type": "string",
"store": "yes",
"analyzer": "pinyin_first_letter",
"search_analyzer": "pinyin_first_letter"
},
"pk": {
"type": "string",
"store": "yes",
"analyzer": "pinyin_ngram_analyzer",
"search_analyzer": "pinyin_ngram_analyzer"
},
"cn": {
"type": "string",
"store": "yes",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word",
"term_vector": "with_positions_offsets",
"boost": 10
},
"un": {
"type": "string",
"index": "not_analyzed"
}
}
}
}
}
}
} 收起阅读 »
"settings": {
"index": {
"number_of_replicas": "0",
"number_of_shards": "5",
"refresh_interval": "-1",
"translog.flush_threshold_ops": "100000"
}
},
"mappings": {
"etp_t": {
"properties": {
"dd": {
"type": "multi_field",
"fields": {
"pn": {
"type": "string",
"store": "yes",
"analyzer": "pinyin_first_letter",
"search_analyzer": "pinyin_first_letter"
},
"pk": {
"type": "string",
"store": "yes",
"analyzer": "pinyin_ngram_analyzer",
"search_analyzer": "pinyin_ngram_analyzer"
},
"cn": {
"type": "string",
"store": "yes",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word",
"term_vector": "with_positions_offsets",
"boost": 10
},
"un": {
"type": "string",
"index": "not_analyzed"
}
}
}
}
}
}
} 收起阅读 »
【内附讲师干货PPT】首届ES中文社区技术沙龙广州站圆满举行咯
4月23日，首届Elasticsearch中文社区技术沙龙【广州站】在广州筑梦咖啡成功举行。
2016年ES中文社区全国巡回技术沙龙，分别在北京、上海、广州三地召开。【广州站】由ES中文社区和数说故事共同举办，主题为“企业级搜索引擎与大数据实战分享”，共吸引了来自腾讯、网易、欢聚时代、金蝶及舜飞科技等企业的共120+观众到现场交流。来自于欢聚时代的赖鸿智、数说故事的黄耀鸿、塔布数据的何金城三位ES大牛从入门到实战经验给现场观众带来了一次关于ES的干货分享。
三位讲师分别从【入门】：ES优化技巧及工具推荐、【重点】基于父子文档实现的ES关联查询、【实战】亿级规模的ES查询优化实战三个层面对ES进行了介绍。赖鸿智指出自己在2011年就已经接触到ES，对于ES的初学者他从管理及监控两个方面做了一些工具的推荐。
更多精彩内容，下载讲师ppt吧
http://pan.baidu.com/s/1sliR7qP
提取密码：v5p3
继续阅读 »
2016年ES中文社区全国巡回技术沙龙，分别在北京、上海、广州三地召开。【广州站】由ES中文社区和数说故事共同举办，主题为“企业级搜索引擎与大数据实战分享”，共吸引了来自腾讯、网易、欢聚时代、金蝶及舜飞科技等企业的共120+观众到现场交流。来自于欢聚时代的赖鸿智、数说故事的黄耀鸿、塔布数据的何金城三位ES大牛从入门到实战经验给现场观众带来了一次关于ES的干货分享。
三位讲师分别从【入门】：ES优化技巧及工具推荐、【重点】基于父子文档实现的ES关联查询、【实战】亿级规模的ES查询优化实战三个层面对ES进行了介绍。赖鸿智指出自己在2011年就已经接触到ES，对于ES的初学者他从管理及监控两个方面做了一些工具的推荐。
更多精彩内容，下载讲师ppt吧
http://pan.baidu.com/s/1sliR7qP
提取密码：v5p3
4月23日，首届Elasticsearch中文社区技术沙龙【广州站】在广州筑梦咖啡成功举行。
2016年ES中文社区全国巡回技术沙龙，分别在北京、上海、广州三地召开。【广州站】由ES中文社区和数说故事共同举办，主题为“企业级搜索引擎与大数据实战分享”，共吸引了来自腾讯、网易、欢聚时代、金蝶及舜飞科技等企业的共120+观众到现场交流。来自于欢聚时代的赖鸿智、数说故事的黄耀鸿、塔布数据的何金城三位ES大牛从入门到实战经验给现场观众带来了一次关于ES的干货分享。
三位讲师分别从【入门】：ES优化技巧及工具推荐、【重点】基于父子文档实现的ES关联查询、【实战】亿级规模的ES查询优化实战三个层面对ES进行了介绍。赖鸿智指出自己在2011年就已经接触到ES，对于ES的初学者他从管理及监控两个方面做了一些工具的推荐。
更多精彩内容，下载讲师ppt吧
http://pan.baidu.com/s/1sliR7qP
提取密码：v5p3
收起阅读 »
2016年ES中文社区全国巡回技术沙龙，分别在北京、上海、广州三地召开。【广州站】由ES中文社区和数说故事共同举办，主题为“企业级搜索引擎与大数据实战分享”，共吸引了来自腾讯、网易、欢聚时代、金蝶及舜飞科技等企业的共120+观众到现场交流。来自于欢聚时代的赖鸿智、数说故事的黄耀鸿、塔布数据的何金城三位ES大牛从入门到实战经验给现场观众带来了一次关于ES的干货分享。
三位讲师分别从【入门】：ES优化技巧及工具推荐、【重点】基于父子文档实现的ES关联查询、【实战】亿级规模的ES查询优化实战三个层面对ES进行了介绍。赖鸿智指出自己在2011年就已经接触到ES，对于ES的初学者他从管理及监控两个方面做了一些工具的推荐。
更多精彩内容，下载讲师ppt吧
http://pan.baidu.com/s/1sliR7qP
提取密码：v5p3
收起阅读 »
社区使用WeCenter,一个开源的php+mysql社区问答系统搭建
前言
之前学习Lucene和ElasticSearch的时候经常逛逛Elastic的中文社区，发现社区做的蛮不错的，风格和ui都比较清新，今天突然看到了一个站和其风格类似，我就肯定是个开源的产品二次开发的，后来发现了WeCenter，一个很不错的社区问答系统
简介
WeCenter 是一款知识型的社交化开源社区程序，专注于企业和行业社区内容的整理、归类、检索和再发行。
为什么选择WeCenter
管理中心，一手掌控
管理中心为你建立起快速通路，所有功能开关，只需轻点一下，即可轻松完成配置，如此众多的操控，任你一挥而就
开放源码，便捷开发
WeCenter 含有多项创新功能，遵循 MVC 架构，充分利用当下最新技术，对于开发者来说都会大有帮助，二次开发，更强定制，更易上手
个性路由，个性定制
WeCenter 让你用你喜欢的方式，更灵活地定制 URL 路由，URL 地址不再是千篇一律的样式，在 SEO 优化上祝你一臂之力
设计之妙，上手即知
我们创造的每一件产品，从来都不仅仅追求设计的美观。我们在考虑设计的同时，更希望用户更能容易定制模板，最终我们选择了 Bootstrap，定制模板时你会发现一切都是那么的方便，简易
安装初体验
从官网下载源代码后将UPLOAD放入你的http服务器入目下，开始安装体验之旅
原文地址：http://www.kailing.pub/article ... .html
继续阅读 »
之前学习Lucene和ElasticSearch的时候经常逛逛Elastic的中文社区，发现社区做的蛮不错的，风格和ui都比较清新，今天突然看到了一个站和其风格类似，我就肯定是个开源的产品二次开发的，后来发现了WeCenter，一个很不错的社区问答系统
简介
WeCenter 是一款知识型的社交化开源社区程序，专注于企业和行业社区内容的整理、归类、检索和再发行。
为什么选择WeCenter
管理中心，一手掌控
管理中心为你建立起快速通路，所有功能开关，只需轻点一下，即可轻松完成配置，如此众多的操控，任你一挥而就
开放源码，便捷开发
WeCenter 含有多项创新功能，遵循 MVC 架构，充分利用当下最新技术，对于开发者来说都会大有帮助，二次开发，更强定制，更易上手
个性路由，个性定制
WeCenter 让你用你喜欢的方式，更灵活地定制 URL 路由，URL 地址不再是千篇一律的样式，在 SEO 优化上祝你一臂之力
设计之妙，上手即知
我们创造的每一件产品，从来都不仅仅追求设计的美观。我们在考虑设计的同时，更希望用户更能容易定制模板，最终我们选择了 Bootstrap，定制模板时你会发现一切都是那么的方便，简易
安装初体验
从官网下载源代码后将UPLOAD放入你的http服务器入目下，开始安装体验之旅
原文地址：http://www.kailing.pub/article ... .html
前言
之前学习Lucene和ElasticSearch的时候经常逛逛Elastic的中文社区，发现社区做的蛮不错的，风格和ui都比较清新，今天突然看到了一个站和其风格类似，我就肯定是个开源的产品二次开发的，后来发现了WeCenter，一个很不错的社区问答系统
简介
WeCenter 是一款知识型的社交化开源社区程序，专注于企业和行业社区内容的整理、归类、检索和再发行。
为什么选择WeCenter
管理中心，一手掌控
管理中心为你建立起快速通路，所有功能开关，只需轻点一下，即可轻松完成配置，如此众多的操控，任你一挥而就
开放源码，便捷开发
WeCenter 含有多项创新功能，遵循 MVC 架构，充分利用当下最新技术，对于开发者来说都会大有帮助，二次开发，更强定制，更易上手
个性路由，个性定制
WeCenter 让你用你喜欢的方式，更灵活地定制 URL 路由，URL 地址不再是千篇一律的样式，在 SEO 优化上祝你一臂之力
设计之妙，上手即知
我们创造的每一件产品，从来都不仅仅追求设计的美观。我们在考虑设计的同时，更希望用户更能容易定制模板，最终我们选择了 Bootstrap，定制模板时你会发现一切都是那么的方便，简易
安装初体验
从官网下载源代码后将UPLOAD放入你的http服务器入目下，开始安装体验之旅
原文地址：http://www.kailing.pub/article ... .html 收起阅读 »
之前学习Lucene和ElasticSearch的时候经常逛逛Elastic的中文社区，发现社区做的蛮不错的，风格和ui都比较清新，今天突然看到了一个站和其风格类似，我就肯定是个开源的产品二次开发的，后来发现了WeCenter，一个很不错的社区问答系统
简介
WeCenter 是一款知识型的社交化开源社区程序，专注于企业和行业社区内容的整理、归类、检索和再发行。
为什么选择WeCenter
管理中心，一手掌控
管理中心为你建立起快速通路，所有功能开关，只需轻点一下，即可轻松完成配置，如此众多的操控，任你一挥而就
开放源码，便捷开发
WeCenter 含有多项创新功能，遵循 MVC 架构，充分利用当下最新技术，对于开发者来说都会大有帮助，二次开发，更强定制，更易上手
个性路由，个性定制
WeCenter 让你用你喜欢的方式，更灵活地定制 URL 路由，URL 地址不再是千篇一律的样式，在 SEO 优化上祝你一臂之力
设计之妙，上手即知
我们创造的每一件产品，从来都不仅仅追求设计的美观。我们在考虑设计的同时，更希望用户更能容易定制模板，最终我们选择了 Bootstrap，定制模板时你会发现一切都是那么的方便，简易
安装初体验
从官网下载源代码后将UPLOAD放入你的http服务器入目下，开始安装体验之旅
原文地址：http://www.kailing.pub/article ... .html 收起阅读 »
elasticearch,jdk,maven安装
安装jdk
下载地址
http://www.oracle.com/technetw ... .html
JAVA_HOME : E:\Java\jdk1.7.0
Path : %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
CLASSPATH : .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
首先下载最新的elasticsearch安装版本
https://www.elastic.co/downloads/elasticsearch
安装插件
elasticsearch插件elasticsearch-head安装： plugininstall mobz/elasticsearch-head
elasticsearch插件bigdesk安装：plugininstall lukas-vlcek/bigdesk
前台运行es
在cmd命令行进入安装目录，再进入 bin目录，运行elasticsearch.bat命令： elasticsearch
后台运行es
进入E:\Install_SoftWare\elasticsearch2.2.0\bin
注册服务 service.bat install
内存分配
打开E:\Install_SoftWare\elasticsearch2.2.0\bin\service.bat
或着修改注册表参数
打开regedit
全路径：hkey_local_machine/software/wow6432node/apacheSoftware foundation/procrun2.0/elasticsearch-service-x64/java
启动成功如下图
简单查询
复杂查询
elasticsearch.yml文件配置
cluster.name: pq es名称
node.name: node10 节点名称
node.master: true 设为主节点
node.master: false 不为主节点
node.data: false 不存储数据
node.data:true 存储数据
组合master, data
Master=true, data=false 该节点做为主节点
Master=true, data=true 该节点既是主节点又是数据节点
Master=false, data=true 该节点做为数据节点
Master=false, data= false 该节点做为负载均衡节点
path.data: G:\es_data,F:\es_data 数据存储路径 只有数据节点存储数据
path.logs: D:\es_logs 日志存储路径
bootstrap.mlockall: true 用来锁定内存
network.host: 0.0.0.0 设置ip
http.port: 9200 设置http端口
transport.tcp.port: 9300 设置tcp端口
discovery.zen.ping.unicast.hosts:["0.0.*.*","*.*.*.*:9300"]设置群集ip地址
分词安装（IK分词）
Maven环境配置
官方下载地址：http://maven.apache.org/download.html
https://github.com/medcl/elasticsearch-analysis-ik下载地址
把下载的elasticsearch-analysis-ik.zip 解压。
Maven 打包
进入elasticsearch-analysis-ik-master/ 下，打包。注意：打包后的文件在elasticsearch-analysis-ik-master/target/目录下
然后在elasticsearch-2.2.0/plugins下创建目录 ik
然后将打包后的elasticsearch-analysis-ik-1.8.0.jar 放入当前目录下
Maven 打包命令 mvn clean package
在 Elasticsearch 的config下的elasticsearch.yml文件中，添加如下代码。 设置（2.0以上可以不设置）。1. index: 2. analysis: 3. analyzer: 4. ik: 5. alias: [ik_analyzer] 6. type:org.elasticsearch.index.analysis.IkAnalyzerProvider 7. ik_max_word: 8. type: ik 9. use_smart: false 10. ik_smart: 11. type: ik 12. use_smart: true或者简单配置：index.analysis.analyzer.ik.type : “ik”
分词测试
http://127.0.0.0:9215/index/_a ... true/
post
{"text":"刑事判决书"}、
详细ik分词配置网址
http://www.sojson.com/blog/82
安装jdk
下载地址
http://www.oracle.com/technetw ... .html
JAVA_HOME : E:\Java\jdk1.7.0
Path : %JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;
CLASSPATH : .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
首先下载最新的elasticsearch安装版本
https://www.elastic.co/downloads/elasticsearch
安装插件
elasticsearch插件elasticsearch-head安装： plugininstall mobz/elasticsearch-head
elasticsearch插件bigdesk安装：plugininstall lukas-vlcek/bigdesk
前台运行es
在cmd命令行进入安装目录，再进入 bin目录，运行elasticsearch.bat命令： elasticsearch
后台运行es
进入E:\Install_SoftWare\elasticsearch2.2.0\bin
注册服务 service.bat install
内存分配
打开E:\Install_SoftWare\elasticsearch2.2.0\bin\service.bat
或着修改注册表参数
打开regedit
全路径：hkey_local_machine/software/wow6432node/apacheSoftware foundation/procrun2.0/elasticsearch-service-x64/java
启动成功如下图
简单查询
复杂查询
elasticsearch.yml文件配置
cluster.name: pq es名称
node.name: node10 节点名称
node.master: true 设为主节点
node.master: false 不为主节点
node.data: false 不存储数据
node.data:true 存储数据
组合master, data
Master=true, data=false 该节点做为主节点
Master=true, data=true 该节点既是主节点又是数据节点
Master=false, data=true 该节点做为数据节点
Master=false, data= false 该节点做为负载均衡节点
path.data: G:\es_data,F:\es_data 数据存储路径 只有数据节点存储数据
path.logs: D:\es_logs 日志存储路径
bootstrap.mlockall: true 用来锁定内存
network.host: 0.0.0.0 设置ip
http.port: 9200 设置http端口
transport.tcp.port: 9300 设置tcp端口
discovery.zen.ping.unicast.hosts:["0.0.*.*","*.*.*.*:9300"]设置群集ip地址
分词安装（IK分词）
Maven环境配置
官方下载地址：http://maven.apache.org/download.html
https://github.com/medcl/elasticsearch-analysis-ik下载地址
把下载的elasticsearch-analysis-ik.zip 解压。
Maven 打包
进入elasticsearch-analysis-ik-master/ 下，打包。注意：打包后的文件在elasticsearch-analysis-ik-master/target/目录下
然后在elasticsearch-2.2.0/plugins下创建目录 ik
然后将打包后的elasticsearch-analysis-ik-1.8.0.jar 放入当前目录下
Maven 打包命令 mvn clean package
在 Elasticsearch 的config下的elasticsearch.yml文件中，添加如下代码。 设置（2.0以上可以不设置）。1. index: 2. analysis: 3. analyzer: 4. ik: 5. alias: [ik_analyzer] 6. type:org.elasticsearch.index.analysis.IkAnalyzerProvider 7. ik_max_word: 8. type: ik 9. use_smart: false 10. ik_smart: 11. type: ik 12. use_smart: true或者简单配置：index.analysis.analyzer.ik.type : “ik”
分词测试
http://127.0.0.0:9215/index/_a ... true/
post
{"text":"刑事判决书"}、
详细ik分词配置网址
http://www.sojson.com/blog/82 收起阅读 »
elasticsearch读取多个redis值
input{
redis{
host => "192.168.80.50"
port => 6379
password => "xxx"
data_type => "list"
key => "logstash-ljk-screen"
codec => json
type=>"ljkscreen"
}
redis{
host => "192.168.80.50"
port => 6379
password => "xxx"
data_type => "list"
key => "logstash-kg-media"
codec => json
type=>"kgmedia"
}
}
继续阅读 »
redis{
host => "192.168.80.50"
port => 6379
password => "xxx"
data_type => "list"
key => "logstash-ljk-screen"
codec => json
type=>"ljkscreen"
}
redis{
host => "192.168.80.50"
port => 6379
password => "xxx"
data_type => "list"
key => "logstash-kg-media"
codec => json
type=>"kgmedia"
}
}
input{
redis{
host => "192.168.80.50"
port => 6379
password => "xxx"
data_type => "list"
key => "logstash-ljk-screen"
codec => json
type=>"ljkscreen"
}
redis{
host => "192.168.80.50"
port => 6379
password => "xxx"
data_type => "list"
key => "logstash-kg-media"
codec => json
type=>"kgmedia"
}
} 收起阅读 »
redis{
host => "192.168.80.50"
port => 6379
password => "xxx"
data_type => "list"
key => "logstash-ljk-screen"
codec => json
type=>"ljkscreen"
}
redis{
host => "192.168.80.50"
port => 6379
password => "xxx"
data_type => "list"
key => "logstash-kg-media"
codec => json
type=>"kgmedia"
}
} 收起阅读 »
david 发表于 : 2016-04-19 15:45
评论 (0)
首届ES中文社区技术沙龙【广州站】—企业级搜索引擎与大数据实战分享
从2015年后，大数据被认为是驱动企业变革的推动剂，为经济创新带来新的增量。ElasticSearch（下文简称ES）是当前流行的企业级搜索引擎，它提供了一个分布式多用户能力的全文搜索引擎。简言之，大数据时代ES能够提供简单易用的方式帮助企业从大型数据库中快速提取有效信息进行分析。
2016年首届ES中文社区全国巡回技术沙龙在北京、上海、广州三地召开。ES中文社区携手数说故事共同主办 ElasticSearch技术沙龙-广州站，诚邀您参加交流。
4月23日14:00 - 17:30，广州筑梦咖啡，我们不见不散。
沙龙详情：
1、主办方：
ElasticSearch中文社区 数说故事
2、时间与地点：
4月23日14:00 - 17:30（周六）
广州筑梦咖啡（广州天河区黄埔大道中309号羊城创意产业园(近骏景花园)
沙龙主题：
ElasticSearch技术沙龙—企业级搜索引擎实战与案例分享
分享一：你不得不知道的ES的使用经验及优化技巧
赖鸿智
欢聚时代搜索工程师，负责欢聚时代搜索服务
主题简介：
ES使用中掉过的坑以及优化技巧，主要包括：搜索平台的架构，实时大数据分析平台的架构。
分享二： 基于父子文档实现的ES关联查询
黄耀鸿
数说故事技术总监，多年大数据开发经验
主题简介：
为你解答在千万级用户和发布的亿级文章内容中，如何利用父子文档，通过一对多的关联查询，实现对内容搜索，对用户分析的场景。
分享三：ES实战现场:亿级规模的ES查询优化实战
何金城
塔布高级数据项目经理
主题简介：
在传统家电企业的DMP系统实施实战中ES的一些使用情况及查询优化实践。
活动流程：
14:00-14:30 签到及入场
14:30-14:40 主持人介绍活动
14:40-15:20 赖鸿智 Elasticsearch的一些使用经验及优化技巧
15:20-16:00 黄耀鸿 基于父子文档实现的ES关联查询
16:00-16:40 何金城 亿级规模的ES查询优化实战
16:40-17:10 提问交流 可获精美礼品
17:10-17:30 自由沟通
哪些惊喜：
企业级搜索引擎全程干货的分享
免费领取由ElasticSearch中文社区提供的限量版礼品
有机会参观大数据公司【数说故事】，近距离了解大数据工作流程
报名方式：
本次活动全程免费，欢迎报名
报名入口：活动行
活动联系：
联系人：陈小姐
手机：13660037521
邮箱：625802461@qq.com
更多活动详情扫描二维码关注数说故事
（公众号：datastory2015）
继续阅读 »
2016年首届ES中文社区全国巡回技术沙龙在北京、上海、广州三地召开。ES中文社区携手数说故事共同主办 ElasticSearch技术沙龙-广州站，诚邀您参加交流。
4月23日14:00 - 17:30，广州筑梦咖啡，我们不见不散。
沙龙详情：
1、主办方：
ElasticSearch中文社区 数说故事
2、时间与地点：
4月23日14:00 - 17:30（周六）
广州筑梦咖啡（广州天河区黄埔大道中309号羊城创意产业园(近骏景花园)
沙龙主题：
ElasticSearch技术沙龙—企业级搜索引擎实战与案例分享
分享一：你不得不知道的ES的使用经验及优化技巧
赖鸿智
欢聚时代搜索工程师，负责欢聚时代搜索服务
主题简介：
ES使用中掉过的坑以及优化技巧，主要包括：搜索平台的架构，实时大数据分析平台的架构。
分享二： 基于父子文档实现的ES关联查询
黄耀鸿
数说故事技术总监，多年大数据开发经验
主题简介：
为你解答在千万级用户和发布的亿级文章内容中，如何利用父子文档，通过一对多的关联查询，实现对内容搜索，对用户分析的场景。
分享三：ES实战现场:亿级规模的ES查询优化实战
何金城
塔布高级数据项目经理
主题简介：
在传统家电企业的DMP系统实施实战中ES的一些使用情况及查询优化实践。
活动流程：
14:00-14:30 签到及入场
14:30-14:40 主持人介绍活动
14:40-15:20 赖鸿智 Elasticsearch的一些使用经验及优化技巧
15:20-16:00 黄耀鸿 基于父子文档实现的ES关联查询
16:00-16:40 何金城 亿级规模的ES查询优化实战
16:40-17:10 提问交流 可获精美礼品
17:10-17:30 自由沟通
哪些惊喜：
企业级搜索引擎全程干货的分享
免费领取由ElasticSearch中文社区提供的限量版礼品
有机会参观大数据公司【数说故事】，近距离了解大数据工作流程
报名方式：
本次活动全程免费，欢迎报名
报名入口：活动行
活动联系：
联系人：陈小姐
手机：13660037521
邮箱：625802461@qq.com
更多活动详情扫描二维码关注数说故事
（公众号：datastory2015）
从2015年后，大数据被认为是驱动企业变革的推动剂，为经济创新带来新的增量。ElasticSearch（下文简称ES）是当前流行的企业级搜索引擎，它提供了一个分布式多用户能力的全文搜索引擎。简言之，大数据时代ES能够提供简单易用的方式帮助企业从大型数据库中快速提取有效信息进行分析。
2016年首届ES中文社区全国巡回技术沙龙在北京、上海、广州三地召开。ES中文社区携手数说故事共同主办 ElasticSearch技术沙龙-广州站，诚邀您参加交流。
4月23日14:00 - 17:30，广州筑梦咖啡，我们不见不散。
沙龙详情：
1、主办方：
ElasticSearch中文社区 数说故事
2、时间与地点：
4月23日14:00 - 17:30（周六）
广州筑梦咖啡（广州天河区黄埔大道中309号羊城创意产业园(近骏景花园)
沙龙主题：
ElasticSearch技术沙龙—企业级搜索引擎实战与案例分享
分享一：你不得不知道的ES的使用经验及优化技巧
赖鸿智
欢聚时代搜索工程师，负责欢聚时代搜索服务
主题简介：
ES使用中掉过的坑以及优化技巧，主要包括：搜索平台的架构，实时大数据分析平台的架构。
分享二： 基于父子文档实现的ES关联查询
黄耀鸿
数说故事技术总监，多年大数据开发经验
主题简介：
为你解答在千万级用户和发布的亿级文章内容中，如何利用父子文档，通过一对多的关联查询，实现对内容搜索，对用户分析的场景。
分享三：ES实战现场:亿级规模的ES查询优化实战
何金城
塔布高级数据项目经理
主题简介：
在传统家电企业的DMP系统实施实战中ES的一些使用情况及查询优化实践。
活动流程：
14:00-14:30 签到及入场
14:30-14:40 主持人介绍活动
14:40-15:20 赖鸿智 Elasticsearch的一些使用经验及优化技巧
15:20-16:00 黄耀鸿 基于父子文档实现的ES关联查询
16:00-16:40 何金城 亿级规模的ES查询优化实战
16:40-17:10 提问交流 可获精美礼品
17:10-17:30 自由沟通
哪些惊喜：
企业级搜索引擎全程干货的分享
免费领取由ElasticSearch中文社区提供的限量版礼品
有机会参观大数据公司【数说故事】，近距离了解大数据工作流程
报名方式：
本次活动全程免费，欢迎报名
报名入口：活动行
活动联系：
联系人：陈小姐
手机：13660037521
邮箱：625802461@qq.com
更多活动详情扫描二维码关注数说故事
（公众号：datastory2015） 收起阅读 »
2016年首届ES中文社区全国巡回技术沙龙在北京、上海、广州三地召开。ES中文社区携手数说故事共同主办 ElasticSearch技术沙龙-广州站，诚邀您参加交流。
4月23日14:00 - 17:30，广州筑梦咖啡，我们不见不散。
沙龙详情：
1、主办方：
ElasticSearch中文社区 数说故事
2、时间与地点：
4月23日14:00 - 17:30（周六）
广州筑梦咖啡（广州天河区黄埔大道中309号羊城创意产业园(近骏景花园)
沙龙主题：
ElasticSearch技术沙龙—企业级搜索引擎实战与案例分享
分享一：你不得不知道的ES的使用经验及优化技巧
赖鸿智
欢聚时代搜索工程师，负责欢聚时代搜索服务
主题简介：
ES使用中掉过的坑以及优化技巧，主要包括：搜索平台的架构，实时大数据分析平台的架构。
分享二： 基于父子文档实现的ES关联查询
黄耀鸿
数说故事技术总监，多年大数据开发经验
主题简介：
为你解答在千万级用户和发布的亿级文章内容中，如何利用父子文档，通过一对多的关联查询，实现对内容搜索，对用户分析的场景。
分享三：ES实战现场:亿级规模的ES查询优化实战
何金城
塔布高级数据项目经理
主题简介：
在传统家电企业的DMP系统实施实战中ES的一些使用情况及查询优化实践。
活动流程：
14:00-14:30 签到及入场
14:30-14:40 主持人介绍活动
14:40-15:20 赖鸿智 Elasticsearch的一些使用经验及优化技巧
15:20-16:00 黄耀鸿 基于父子文档实现的ES关联查询
16:00-16:40 何金城 亿级规模的ES查询优化实战
16:40-17:10 提问交流 可获精美礼品
17:10-17:30 自由沟通
哪些惊喜：
企业级搜索引擎全程干货的分享
免费领取由ElasticSearch中文社区提供的限量版礼品
有机会参观大数据公司【数说故事】，近距离了解大数据工作流程
报名方式：
本次活动全程免费，欢迎报名
报名入口：活动行
活动联系：
联系人：陈小姐
手机：13660037521
邮箱：625802461@qq.com
更多活动详情扫描二维码关注数说故事
（公众号：datastory2015） 收起阅读 »
ES中文社区logo
我试试怎么用
我试试怎么用
Elastic 为 Elastic Stack 带来新的 Graph 实时图分析功能
Mountain View, Calif. and Amsterdam, The Netherlands – March 30, 2016，英文原文
Elastic 今天宣布发布一个新的用于 Elasticsearch 和 Kibana 的插件，通过它们您可以很方便的发现、理解和探索您现有数据之间的关系。通过结合速度与相关度的搜索与图分析，Graph 已开启一页新的篇章同时为 Elastic Stack 带来更多的使用场景。
“我们构建 Graph 来帮助您以更多的方式来分析您存储在 Elasticsearch 中的数据” -- Steve Kearns，Elastic 高级产品总监提到， “通过把相关度作为切入点来查看数据间的关系，以前需要涉及到多个系统、批量作业甚至机器学习才能做到的事情，现在变成容易解决的问题。”
Graph 为 Elastic Stack 开启新的使用场景
当您往 Elasticsearch 存储数据时 -- 产品信息、用户资料、文档、日志 -- 这些数据通常会包含对象（实体、人员、角色或者机器等）之间的引用关系。最好的探索这些关系的方法就是以可视化的方式去查看，Graph 通过以 Kibana 插件的方式提供了这样的能力。和 Elastic 的所有产品一样，它的 UI 界面设计简单易用，API 接口丰富强大，借助于 Elastic 在相关性评分的丰富经验，挖掘出您数据中最有价值的关系信息。这种独特的图形探索方式，并且无需引入新的索引格式，允许用户直接查询现有的数据，为 Elastic Stack 打开了一个新的更广泛的使用场景。
Graph 让一些复杂问题和场景（如行为分析、反欺诈、网络安全、药物发现、个性化医疗，或者基于持续的实时数据构建个性化推荐）的处理变得简单。Graph 通过相关性评分计算分离噪音和有用信息，自动识别最重要的这些关系。由于构建于 Elasticsearch 之上，Graph 天然具备高可用和近实时的能力。
Graph 为关系性探索带来相关度
当数据添加到 Elasticsearch 后，索引进程会跟踪和记录该文档每个字段每个值，更新全局词频信息，并准备相关数据用于大的范围查询。这些统计信息还被用来计算搜索的相关度以及有效的用于 Aggregation 中。通过 Graph，Elastic Stack 将以一种新的方式来使用这些统计信息 -- 首先是识别文档间的关系，然后再为指定查询按最相关的关系进行优先级排序处理。
相比之下，传统的图分析技术仅基于给定关系的简单的频次统计。这种方法的缺点是关系连接最多的元素 -- 如《肖申克的救赎》的电影推荐指数或在星巴克的信用卡购买数据 -- 被认为是最重要的而返回但不一定最有价值。Elasticsearch 中的 Graph，相关度会根据与每个关系的重要程度来进行计算而不是简单的平均处理，返回的是重要的结果，避免出现频繁或平常的连接关系
“Graph 是一个极好的例子，让大家看到我们的产品所带来的无限可能性以及我们如何努力让我们的用户尽可能容易的得益于 Elastic Stack。” -- Shay Banon，Elastic CTO 与联合创始人说 -- “我很自豪地看到我们的公司在持续创新，然后也迫不及待的想要看到我们的客户采用 Graph 这种新方法来解决真正具有挑战性的问题和案例.”
了解更多：
Graph 产品首页
观看 Graph 在线研讨会
关于 Elastic
Elastic 是世界领先的软件提供商，致力于结构化和非结构化数据的实时可用性，用户场景包括搜索、日志和数据分析等领域。公司由 Elasticsearch、Kibana、Logstash 和 Beats 这些开源项目背后的开发人员于2012年创立，Elastic Stack、X-Pack 和 Elastic Cloud 这些产品迄今累计已超过5千万次下载。
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资，总部位于阿姆斯特丹和加州山景城，公司员工及办事处遍布全球各地。欲了解更多，请访问 http://elastic.co。
继续阅读 »
Elastic 今天宣布发布一个新的用于 Elasticsearch 和 Kibana 的插件，通过它们您可以很方便的发现、理解和探索您现有数据之间的关系。通过结合速度与相关度的搜索与图分析，Graph 已开启一页新的篇章同时为 Elastic Stack 带来更多的使用场景。
“我们构建 Graph 来帮助您以更多的方式来分析您存储在 Elasticsearch 中的数据” -- Steve Kearns，Elastic 高级产品总监提到， “通过把相关度作为切入点来查看数据间的关系，以前需要涉及到多个系统、批量作业甚至机器学习才能做到的事情，现在变成容易解决的问题。”
Graph 为 Elastic Stack 开启新的使用场景
当您往 Elasticsearch 存储数据时 -- 产品信息、用户资料、文档、日志 -- 这些数据通常会包含对象（实体、人员、角色或者机器等）之间的引用关系。最好的探索这些关系的方法就是以可视化的方式去查看，Graph 通过以 Kibana 插件的方式提供了这样的能力。和 Elastic 的所有产品一样，它的 UI 界面设计简单易用，API 接口丰富强大，借助于 Elastic 在相关性评分的丰富经验，挖掘出您数据中最有价值的关系信息。这种独特的图形探索方式，并且无需引入新的索引格式，允许用户直接查询现有的数据，为 Elastic Stack 打开了一个新的更广泛的使用场景。
Graph 让一些复杂问题和场景（如行为分析、反欺诈、网络安全、药物发现、个性化医疗，或者基于持续的实时数据构建个性化推荐）的处理变得简单。Graph 通过相关性评分计算分离噪音和有用信息，自动识别最重要的这些关系。由于构建于 Elasticsearch 之上，Graph 天然具备高可用和近实时的能力。
Graph 为关系性探索带来相关度
当数据添加到 Elasticsearch 后，索引进程会跟踪和记录该文档每个字段每个值，更新全局词频信息，并准备相关数据用于大的范围查询。这些统计信息还被用来计算搜索的相关度以及有效的用于 Aggregation 中。通过 Graph，Elastic Stack 将以一种新的方式来使用这些统计信息 -- 首先是识别文档间的关系，然后再为指定查询按最相关的关系进行优先级排序处理。
相比之下，传统的图分析技术仅基于给定关系的简单的频次统计。这种方法的缺点是关系连接最多的元素 -- 如《肖申克的救赎》的电影推荐指数或在星巴克的信用卡购买数据 -- 被认为是最重要的而返回但不一定最有价值。Elasticsearch 中的 Graph，相关度会根据与每个关系的重要程度来进行计算而不是简单的平均处理，返回的是重要的结果，避免出现频繁或平常的连接关系
“Graph 是一个极好的例子，让大家看到我们的产品所带来的无限可能性以及我们如何努力让我们的用户尽可能容易的得益于 Elastic Stack。” -- Shay Banon，Elastic CTO 与联合创始人说 -- “我很自豪地看到我们的公司在持续创新，然后也迫不及待的想要看到我们的客户采用 Graph 这种新方法来解决真正具有挑战性的问题和案例.”
了解更多：
Graph 产品首页
观看 Graph 在线研讨会
关于 Elastic
Elastic 是世界领先的软件提供商，致力于结构化和非结构化数据的实时可用性，用户场景包括搜索、日志和数据分析等领域。公司由 Elasticsearch、Kibana、Logstash 和 Beats 这些开源项目背后的开发人员于2012年创立，Elastic Stack、X-Pack 和 Elastic Cloud 这些产品迄今累计已超过5千万次下载。
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资，总部位于阿姆斯特丹和加州山景城，公司员工及办事处遍布全球各地。欲了解更多，请访问 http://elastic.co。
Mountain View, Calif. and Amsterdam, The Netherlands – March 30, 2016，英文原文
Elastic 今天宣布发布一个新的用于 Elasticsearch 和 Kibana 的插件，通过它们您可以很方便的发现、理解和探索您现有数据之间的关系。通过结合速度与相关度的搜索与图分析，Graph 已开启一页新的篇章同时为 Elastic Stack 带来更多的使用场景。
“我们构建 Graph 来帮助您以更多的方式来分析您存储在 Elasticsearch 中的数据” -- Steve Kearns，Elastic 高级产品总监提到， “通过把相关度作为切入点来查看数据间的关系，以前需要涉及到多个系统、批量作业甚至机器学习才能做到的事情，现在变成容易解决的问题。”
Graph 为 Elastic Stack 开启新的使用场景
当您往 Elasticsearch 存储数据时 -- 产品信息、用户资料、文档、日志 -- 这些数据通常会包含对象（实体、人员、角色或者机器等）之间的引用关系。最好的探索这些关系的方法就是以可视化的方式去查看，Graph 通过以 Kibana 插件的方式提供了这样的能力。和 Elastic 的所有产品一样，它的 UI 界面设计简单易用，API 接口丰富强大，借助于 Elastic 在相关性评分的丰富经验，挖掘出您数据中最有价值的关系信息。这种独特的图形探索方式，并且无需引入新的索引格式，允许用户直接查询现有的数据，为 Elastic Stack 打开了一个新的更广泛的使用场景。
Graph 让一些复杂问题和场景（如行为分析、反欺诈、网络安全、药物发现、个性化医疗，或者基于持续的实时数据构建个性化推荐）的处理变得简单。Graph 通过相关性评分计算分离噪音和有用信息，自动识别最重要的这些关系。由于构建于 Elasticsearch 之上，Graph 天然具备高可用和近实时的能力。
Graph 为关系性探索带来相关度
当数据添加到 Elasticsearch 后，索引进程会跟踪和记录该文档每个字段每个值，更新全局词频信息，并准备相关数据用于大的范围查询。这些统计信息还被用来计算搜索的相关度以及有效的用于 Aggregation 中。通过 Graph，Elastic Stack 将以一种新的方式来使用这些统计信息 -- 首先是识别文档间的关系，然后再为指定查询按最相关的关系进行优先级排序处理。
相比之下，传统的图分析技术仅基于给定关系的简单的频次统计。这种方法的缺点是关系连接最多的元素 -- 如《肖申克的救赎》的电影推荐指数或在星巴克的信用卡购买数据 -- 被认为是最重要的而返回但不一定最有价值。Elasticsearch 中的 Graph，相关度会根据与每个关系的重要程度来进行计算而不是简单的平均处理，返回的是重要的结果，避免出现频繁或平常的连接关系
“Graph 是一个极好的例子，让大家看到我们的产品所带来的无限可能性以及我们如何努力让我们的用户尽可能容易的得益于 Elastic Stack。” -- Shay Banon，Elastic CTO 与联合创始人说 -- “我很自豪地看到我们的公司在持续创新，然后也迫不及待的想要看到我们的客户采用 Graph 这种新方法来解决真正具有挑战性的问题和案例.”
了解更多：
Graph 产品首页
观看 Graph 在线研讨会
关于 Elastic
Elastic 是世界领先的软件提供商，致力于结构化和非结构化数据的实时可用性，用户场景包括搜索、日志和数据分析等领域。公司由 Elasticsearch、Kibana、Logstash 和 Beats 这些开源项目背后的开发人员于2012年创立，Elastic Stack、X-Pack 和 Elastic Cloud 这些产品迄今累计已超过5千万次下载。
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资，总部位于阿姆斯特丹和加州山景城，公司员工及办事处遍布全球各地。欲了解更多，请访问 http://elastic.co。 收起阅读 »
Elastic 今天宣布发布一个新的用于 Elasticsearch 和 Kibana 的插件，通过它们您可以很方便的发现、理解和探索您现有数据之间的关系。通过结合速度与相关度的搜索与图分析，Graph 已开启一页新的篇章同时为 Elastic Stack 带来更多的使用场景。
“我们构建 Graph 来帮助您以更多的方式来分析您存储在 Elasticsearch 中的数据” -- Steve Kearns，Elastic 高级产品总监提到， “通过把相关度作为切入点来查看数据间的关系，以前需要涉及到多个系统、批量作业甚至机器学习才能做到的事情，现在变成容易解决的问题。”
Graph 为 Elastic Stack 开启新的使用场景
当您往 Elasticsearch 存储数据时 -- 产品信息、用户资料、文档、日志 -- 这些数据通常会包含对象（实体、人员、角色或者机器等）之间的引用关系。最好的探索这些关系的方法就是以可视化的方式去查看，Graph 通过以 Kibana 插件的方式提供了这样的能力。和 Elastic 的所有产品一样，它的 UI 界面设计简单易用，API 接口丰富强大，借助于 Elastic 在相关性评分的丰富经验，挖掘出您数据中最有价值的关系信息。这种独特的图形探索方式，并且无需引入新的索引格式，允许用户直接查询现有的数据，为 Elastic Stack 打开了一个新的更广泛的使用场景。
Graph 让一些复杂问题和场景（如行为分析、反欺诈、网络安全、药物发现、个性化医疗，或者基于持续的实时数据构建个性化推荐）的处理变得简单。Graph 通过相关性评分计算分离噪音和有用信息，自动识别最重要的这些关系。由于构建于 Elasticsearch 之上，Graph 天然具备高可用和近实时的能力。
Graph 为关系性探索带来相关度
当数据添加到 Elasticsearch 后，索引进程会跟踪和记录该文档每个字段每个值，更新全局词频信息，并准备相关数据用于大的范围查询。这些统计信息还被用来计算搜索的相关度以及有效的用于 Aggregation 中。通过 Graph，Elastic Stack 将以一种新的方式来使用这些统计信息 -- 首先是识别文档间的关系，然后再为指定查询按最相关的关系进行优先级排序处理。
相比之下，传统的图分析技术仅基于给定关系的简单的频次统计。这种方法的缺点是关系连接最多的元素 -- 如《肖申克的救赎》的电影推荐指数或在星巴克的信用卡购买数据 -- 被认为是最重要的而返回但不一定最有价值。Elasticsearch 中的 Graph，相关度会根据与每个关系的重要程度来进行计算而不是简单的平均处理，返回的是重要的结果，避免出现频繁或平常的连接关系
“Graph 是一个极好的例子，让大家看到我们的产品所带来的无限可能性以及我们如何努力让我们的用户尽可能容易的得益于 Elastic Stack。” -- Shay Banon，Elastic CTO 与联合创始人说 -- “我很自豪地看到我们的公司在持续创新，然后也迫不及待的想要看到我们的客户采用 Graph 这种新方法来解决真正具有挑战性的问题和案例.”
了解更多：
Graph 产品首页
观看 Graph 在线研讨会
关于 Elastic
Elastic 是世界领先的软件提供商，致力于结构化和非结构化数据的实时可用性，用户场景包括搜索、日志和数据分析等领域。公司由 Elasticsearch、Kibana、Logstash 和 Beats 这些开源项目背后的开发人员于2012年创立，Elastic Stack、X-Pack 和 Elastic Cloud 这些产品迄今累计已超过5千万次下载。
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资，总部位于阿姆斯特丹和加州山景城，公司员工及办事处遍布全球各地。欲了解更多，请访问 http://elastic.co。 收起阅读 »
