Elastic 为 Elastic Stack 带来新的 Graph 实时图分析功能
medcl 发表了文章 • 1 个评论 • 15574 次浏览 • 2016-03-31 09:36
Mountain View, Calif. and Amsterdam, The Netherlands – March 30, 2016,英文原文
Elastic 今天宣布发布一个新的用于 Elasticsearch 和 Kibana 的插件,通过它们您可以很方便的发现、理解和探索您现有数据之间的关系。通过结合速度与相关度的搜索与图分析,Graph 已开启一页新的篇章同时为 Elastic Stack 带来更多的使用场景。
“我们构建 Graph 来帮助您以更多的方式来分析您存储在 Elasticsearch 中的数据” -- Steve Kearns,Elastic 高级产品总监提到, “通过把相关度作为切入点来查看数据间的关系,以前需要涉及到多个系统、批量作业甚至机器学习才能做到的事情,现在变成容易解决的问题。”
Graph 为 Elastic Stack 开启新的使用场景
当您往 Elasticsearch 存储数据时 -- 产品信息、用户资料、文档、日志 -- 这些数据通常会包含对象(实体、人员、角色或者机器等)之间的引用关系。最好的探索这些关系的方法就是以可视化的方式去查看,Graph 通过以 Kibana 插件的方式提供了这样的能力。和 Elastic 的所有产品一样,它的 UI 界面设计简单易用,API 接口丰富强大,借助于 Elastic 在相关性评分的丰富经验,挖掘出您数据中最有价值的关系信息。这种独特的图形探索方式,并且无需引入新的索引格式,允许用户直接查询现有的数据,为 Elastic Stack 打开了一个新的更广泛的使用场景。
Graph 让一些复杂问题和场景(如行为分析、反欺诈、网络安全、药物发现、个性化医疗,或者基于持续的实时数据构建个性化推荐)的处理变得简单。Graph 通过相关性评分计算分离噪音和有用信息,自动识别最重要的这些关系。由于构建于 Elasticsearch 之上,Graph 天然具备高可用和近实时的能力。
Graph 为关系性探索带来相关度
当数据添加到 Elasticsearch 后,索引进程会跟踪和记录该文档每个字段每个值,更新全局词频信息,并准备相关数据用于大的范围查询。这些统计信息还被用来计算搜索的相关度以及有效的用于 Aggregation 中。通过 Graph,Elastic Stack 将以一种新的方式来使用这些统计信息 -- 首先是识别文档间的关系,然后再为指定查询按最相关的关系进行优先级排序处理。
相比之下,传统的图分析技术仅基于给定关系的简单的频次统计。这种方法的缺点是关系连接最多的元素 -- 如《肖申克的救赎》的电影推荐指数或在星巴克的信用卡购买数据 -- 被认为是最重要的而返回但不一定最有价值。Elasticsearch 中的 Graph,相关度会根据与每个关系的重要程度来进行计算而不是简单的平均处理,返回的是重要的结果,避免出现频繁或平常的连接关系
“Graph 是一个极好的例子,让大家看到我们的产品所带来的无限可能性以及我们如何努力让我们的用户尽可能容易的得益于 Elastic Stack。” -- Shay Banon,Elastic CTO 与联合创始人说 -- “我很自豪地看到我们的公司在持续创新,然后也迫不及待的想要看到我们的客户采用 Graph 这种新方法来解决真正具有挑战性的问题和案例.”
了解更多:
Graph 产品首页
观看 Graph 在线研讨会
关于 Elastic
Elastic 是世界领先的软件提供商,致力于结构化和非结构化数据的实时可用性,用户场景包括搜索、日志和数据分析等领域。公司由 Elasticsearch、Kibana、Logstash 和 Beats 这些开源项目背后的开发人员于2012年创立,Elastic Stack、X-Pack 和 Elastic Cloud 这些产品迄今累计已超过5千万次下载。
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,总部位于阿姆斯特丹和加州山景城,公司员工及办事处遍布全球各地。欲了解更多,请访问 http://elastic.co。
Elastic 今天宣布发布一个新的用于 Elasticsearch 和 Kibana 的插件,通过它们您可以很方便的发现、理解和探索您现有数据之间的关系。通过结合速度与相关度的搜索与图分析,Graph 已开启一页新的篇章同时为 Elastic Stack 带来更多的使用场景。
“我们构建 Graph 来帮助您以更多的方式来分析您存储在 Elasticsearch 中的数据” -- Steve Kearns,Elastic 高级产品总监提到, “通过把相关度作为切入点来查看数据间的关系,以前需要涉及到多个系统、批量作业甚至机器学习才能做到的事情,现在变成容易解决的问题。”
Graph 为 Elastic Stack 开启新的使用场景
当您往 Elasticsearch 存储数据时 -- 产品信息、用户资料、文档、日志 -- 这些数据通常会包含对象(实体、人员、角色或者机器等)之间的引用关系。最好的探索这些关系的方法就是以可视化的方式去查看,Graph 通过以 Kibana 插件的方式提供了这样的能力。和 Elastic 的所有产品一样,它的 UI 界面设计简单易用,API 接口丰富强大,借助于 Elastic 在相关性评分的丰富经验,挖掘出您数据中最有价值的关系信息。这种独特的图形探索方式,并且无需引入新的索引格式,允许用户直接查询现有的数据,为 Elastic Stack 打开了一个新的更广泛的使用场景。
Graph 让一些复杂问题和场景(如行为分析、反欺诈、网络安全、药物发现、个性化医疗,或者基于持续的实时数据构建个性化推荐)的处理变得简单。Graph 通过相关性评分计算分离噪音和有用信息,自动识别最重要的这些关系。由于构建于 Elasticsearch 之上,Graph 天然具备高可用和近实时的能力。
Graph 为关系性探索带来相关度
当数据添加到 Elasticsearch 后,索引进程会跟踪和记录该文档每个字段每个值,更新全局词频信息,并准备相关数据用于大的范围查询。这些统计信息还被用来计算搜索的相关度以及有效的用于 Aggregation 中。通过 Graph,Elastic Stack 将以一种新的方式来使用这些统计信息 -- 首先是识别文档间的关系,然后再为指定查询按最相关的关系进行优先级排序处理。
相比之下,传统的图分析技术仅基于给定关系的简单的频次统计。这种方法的缺点是关系连接最多的元素 -- 如《肖申克的救赎》的电影推荐指数或在星巴克的信用卡购买数据 -- 被认为是最重要的而返回但不一定最有价值。Elasticsearch 中的 Graph,相关度会根据与每个关系的重要程度来进行计算而不是简单的平均处理,返回的是重要的结果,避免出现频繁或平常的连接关系
“Graph 是一个极好的例子,让大家看到我们的产品所带来的无限可能性以及我们如何努力让我们的用户尽可能容易的得益于 Elastic Stack。” -- Shay Banon,Elastic CTO 与联合创始人说 -- “我很自豪地看到我们的公司在持续创新,然后也迫不及待的想要看到我们的客户采用 Graph 这种新方法来解决真正具有挑战性的问题和案例.”
了解更多:
Graph 产品首页
观看 Graph 在线研讨会
关于 Elastic
Elastic 是世界领先的软件提供商,致力于结构化和非结构化数据的实时可用性,用户场景包括搜索、日志和数据分析等领域。公司由 Elasticsearch、Kibana、Logstash 和 Beats 这些开源项目背后的开发人员于2012年创立,Elastic Stack、X-Pack 和 Elastic Cloud 这些产品迄今累计已超过5千万次下载。
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资,总部位于阿姆斯特丹和加州山景城,公司员工及办事处遍布全球各地。欲了解更多,请访问 http://elastic.co。
Elastic线下交流活动走起来!
medcl 发表了文章 • 2 个评论 • 4680 次浏览 • 2016-03-24 10:50
线上交流不过瘾?那就参加线下交流活动吧!
这里是搜罗的最新的线下交流活动预告:
大家分别找到组织报名参加吧,貌似有些还需要场地支持,大家一起出谋划策,把活动办起来吧。
这里是搜罗的最新的线下交流活动预告:
- 广州:http://www.meetup.com/guangzhou-Elastic-Meetup/
- 上海:http://www.meetup.com/shanghai-Elastic-Meetup/
- 北京:http://www.meetup.com/beijing-Elastic-Meetup/
大家分别找到组织报名参加吧,貌似有些还需要场地支持,大家一起出谋划策,把活动办起来吧。
Elastic{ON}16的资料已经放出
medcl 发表了文章 • 1 个评论 • 4806 次浏览 • 2016-03-01 11:59
elasticsearch-analysis-ik和elasticsearch-analysis-mmseg更新至1.7.0
medcl 发表了文章 • 3 个评论 • 5848 次浏览 • 2016-01-13 11:20
elasticsearch-analysis-ik:
https://github.com/medcl/elasticsearch-analysis-ik
elasticsearch-analysis-mmseg:
https://github.com/medcl/elast ... -mseg
主要更新配置文件存放路径,之前版本的配置文件存放在elasticsearch的config目录,现在都修改为插件的相对目录了,主要是简化部署,现在可在Found(https://found.elastic.co)部署了。
https://github.com/medcl/elasticsearch-analysis-ik
elasticsearch-analysis-mmseg:
https://github.com/medcl/elast ... -mseg
主要更新配置文件存放路径,之前版本的配置文件存放在elasticsearch的config目录,现在都修改为插件的相对目录了,主要是简化部署,现在可在Found(https://found.elastic.co)部署了。
简繁体转换插件更新:elasticsearch-analysis-stconvert 升级支持2.0
medcl 发表了文章 • 4 个评论 • 12571 次浏览 • 2015-12-24 11:45
版本1.5.0 支持es2.0.0
项目地址:https://github.com/medcl/elast ... nvert
mvn 编译打包,拷贝release下面的zip并解压到你的es plugins目录即可,需要重启es
这个插件帮你处理简繁体,简繁体全部统一成简体或繁体,不管输入的简体还是繁体,都能得到搜索结果
比如:
不管输入的是『北京国际电视台』的还是『北京國際電視臺』都能命中。
详细配置和使用请参照上面的地址。
项目地址:https://github.com/medcl/elast ... nvert
mvn 编译打包,拷贝release下面的zip并解压到你的es plugins目录即可,需要重启es
这个插件帮你处理简繁体,简繁体全部统一成简体或繁体,不管输入的简体还是繁体,都能得到搜索结果
比如:
不管输入的是『北京国际电视台』的还是『北京國際電視臺』都能命中。
详细配置和使用请参照上面的地址。
版本1.5.0 支持es2.0.0
项目地址:https://github.com/medcl/elast ... nvert
mvn 编译打包,拷贝release下面的zip并解压到你的es plugins目录即可,需要重启es
这个插件帮你处理简繁体,简繁体全部统一成简体或繁体,不管输入的简体还是繁体,都能得到搜索结果
比如:
不管输入的是『北京国际电视台』的还是『北京國際電視臺』都能命中。
详细配置和使用请参照上面的地址。
项目地址:https://github.com/medcl/elast ... nvert
mvn 编译打包,拷贝release下面的zip并解压到你的es plugins目录即可,需要重启es
这个插件帮你处理简繁体,简繁体全部统一成简体或繁体,不管输入的简体还是繁体,都能得到搜索结果
比如:
不管输入的是『北京国际电视台』的还是『北京國際電視臺』都能命中。
详细配置和使用请参照上面的地址。
Elasticsearch China Conference #4 In Chengdu
medcl 发表了文章 • 2 个评论 • 6992 次浏览 • 2015-11-01 19:25
时间:Sunday, November 22, 2015 1:00 PM
地点:四川成都市高新区天府大道中段1366号天府软件园E3-1-11层
报名地址: [/url]
ESCC#4全称:The 4th Elasticsearch China Conference,
是由elasticsearch中文社区每年定期举办的线下交流活动,今年已经是第四届了,会议围绕elasticsearch及周边产品和技术,如:kibana\logstash\beats\logging\nlp等相关领域及话题都可以进行讨论,只要是你认为可能会感兴趣的话题,都可以提交过来,分享嘉宾来自国内一线互联网公司,倡导干货接地气纯粹的技术交流.
分享主题
一,《What's New in Elasticsearch2.0?》
内容介绍:
Elasticsearch2.0新特性介绍!
分享者简介:Medcl,Elastic开发工程师及布道师.
二,《基于es构建实时日志检索平台》
内容介绍:
2011年毕业后加入京东,作为项目技术负责人以及架构师参与了hadoop生态系统建设一期、云存储一期、统一日志、公有PAAS平台和基于容器技术的自动部署等项目。目前在京东成都研究院工具部主要负责工具部各个项目系统架构和产品优化和创新。作为一个技术极客希望组建一支一流的技术团队,同时希望和各位技术爱好者一起交流技术以及技术创新。 提纲:
1.系统整体架构介绍
2.日志采集方案以及实现原理介绍
3.日志转发方案以及实现原理介绍
4.日志搜索实现
5.es优化简介。
分享者简介:吴友强 京东成都研究院工具部负责人兼系统架构师
三,《ElasticSearch:fast and slow》
内容介绍:
1,系统整体架构介绍
2,两个不同场景下的es查询入库优化方案
3,场景一:毫秒级低延迟入库加查询(fast)
4,场景二:依赖hadoop做pb级别以上查询(slow)
分享者简介:查超,瀚思安信基础平台部 研究人员
更多讲师及分享主题介绍陆续添加中...
鸣谢:
感谢 货车帮对这次活动的大力支持
地点:四川成都市高新区天府大道中段1366号天府软件园E3-1-11层
报名地址: [/url]
ESCC#4全称:The 4th Elasticsearch China Conference,
是由elasticsearch中文社区每年定期举办的线下交流活动,今年已经是第四届了,会议围绕elasticsearch及周边产品和技术,如:kibana\logstash\beats\logging\nlp等相关领域及话题都可以进行讨论,只要是你认为可能会感兴趣的话题,都可以提交过来,分享嘉宾来自国内一线互联网公司,倡导干货接地气纯粹的技术交流.
分享主题
一,《What's New in Elasticsearch2.0?》
内容介绍:
Elasticsearch2.0新特性介绍!
分享者简介:Medcl,Elastic开发工程师及布道师.
二,《基于es构建实时日志检索平台》
内容介绍:
2011年毕业后加入京东,作为项目技术负责人以及架构师参与了hadoop生态系统建设一期、云存储一期、统一日志、公有PAAS平台和基于容器技术的自动部署等项目。目前在京东成都研究院工具部主要负责工具部各个项目系统架构和产品优化和创新。作为一个技术极客希望组建一支一流的技术团队,同时希望和各位技术爱好者一起交流技术以及技术创新。 提纲:
1.系统整体架构介绍
2.日志采集方案以及实现原理介绍
3.日志转发方案以及实现原理介绍
4.日志搜索实现
5.es优化简介。
分享者简介:吴友强 京东成都研究院工具部负责人兼系统架构师
三,《ElasticSearch:fast and slow》
内容介绍:
1,系统整体架构介绍
2,两个不同场景下的es查询入库优化方案
3,场景一:毫秒级低延迟入库加查询(fast)
4,场景二:依赖hadoop做pb级别以上查询(slow)
分享者简介:查超,瀚思安信基础平台部 研究人员
更多讲师及分享主题介绍陆续添加中...
鸣谢:
感谢 货车帮对这次活动的大力支持
第四届Elasticsearch国内开发者大会站 成都站 马上开始了
medcl 发表了文章 • 5 个评论 • 5677 次浏览 • 2015-11-01 18:18
相信前面大家都知道在北京和上海已经举办了2场线下活动了,下一站是哪里呢??
第四届Elasticsearch国内开发者大会站 成都站 是的 ,下一站是在成都,并且马上就要开始了,
报名的速度了,
紧急征集讲师和志愿者中!!!!
报名地址;
http://form.mikecrm.com/f.php?t=mOUa1M
第四届Elasticsearch国内开发者大会站 成都站 是的 ,下一站是在成都,并且马上就要开始了,
报名的速度了,
紧急征集讲师和志愿者中!!!!
报名地址;
http://form.mikecrm.com/f.php?t=mOUa1M
相信前面大家都知道在北京和上海已经举办了2场线下活动了,下一站是哪里呢??
第四届Elasticsearch国内开发者大会站 成都站 是的 ,下一站是在成都,并且马上就要开始了,
报名的速度了,
紧急征集讲师和志愿者中!!!!
报名地址;
http://form.mikecrm.com/f.php?t=mOUa1M
第四届Elasticsearch国内开发者大会站 成都站 是的 ,下一站是在成都,并且马上就要开始了,
报名的速度了,
紧急征集讲师和志愿者中!!!!
报名地址;
http://form.mikecrm.com/f.php?t=mOUa1M
你们能访问:http://www.rsyslog.com/ 吗
tonylxc 回复了问题 • 4 人关注 • 3 个回复 • 4951 次浏览 • 2015-03-16 14:14