Pandasticsearch: An Elasticsearch client exposing DataFrame API

Elasticsearchonesuper 发表了文章 • 0 个评论 • 1617 次浏览 • 2016-11-08 18:02 • 来自相关话题

https://github.com/onesuper/pandasticsearch
 
# Create a DataFrame object
from pandasticsearch import DataFrame
df = DataFrame.from_es('http://localhost:9200', index='people')

# Print the schema(mapping) of the index
df.print_schema()
# company
# |-- employee
# |-- name: {'index': 'not_analyzed', 'type': 'string'}
# |-- age: {'type': 'integer'}
# |-- gender: {'index': 'not_analyzed', 'type': 'string'}

# Inspect the columns
df.columns
#['name', 'age', 'gender']

# Get the column
df.name
# Column('name')

# Filter
df.filter(df.age < 13).collect()
# [Row(age=12,gender='female',name='Alice'), Row(age=11,gender='male',name='Bob')]

# Project
df.filter(df.age < 25).select('name', 'age').collect()
# [Row(age=12,name='Alice'), Row(age=11,name='Bob'), Row(age=13,name='Leo')]

# Print the rows into console
df.filter(df.age < 25).select('name').show(3)
# +------+
# | name |
# +------+
# | Alice|
# | Bob |
# | Leo |
# +------+

# Sort
df.sort(df.age.asc).select('name', 'age').collect()
#[Row(age=11,name='Bob'), Row(age=12,name='Alice'), Row(age=13,name='Leo')]

# Aggregate
df[df.gender == 'male'].agg(df.age.avg).collect()
# [Row(avg(age)=12)]

# Groupby
df.groupby('gender').collect()
# [Row(doc_count=1), Row(doc_count=2)]

# Groupby and then aggregate
df.groupby('gender').agg(df.age.max).collect()
# [Row(doc_count=1, max(age)=12), Row(doc_count=2, max(age)=13)]

# Convert to Pandas object for subsequent analysis
df[df.gender == 'male'].agg(df.age.avg).to_pandas()
# avg(age)
# 0 12

Kafka+Logstash的问题

回复

Logstashdennishood 回复了问题 • 2 人关注 • 1 个回复 • 3464 次浏览 • 2016-11-08 10:52 • 来自相关话题

es 怎么去除掉 结果 _score<1的?

Elasticsearchstrglee 回复了问题 • 2 人关注 • 2 个回复 • 2202 次浏览 • 2016-11-07 21:17 • 来自相关话题

mysql中查询语句如何翻译成ES查询语句

ElasticsearchXargin 回复了问题 • 2 人关注 • 1 个回复 • 4739 次浏览 • 2016-11-07 16:20 • 来自相关话题

org.elasticsearch.client 5.0在idea 和gradle中无法跟新

回复

Elasticsearchqijun4tian 发起了问题 • 1 人关注 • 0 个回复 • 2686 次浏览 • 2016-11-07 16:18 • 来自相关话题

siren-join java api出错

回复

Elasticsearchlbeny 发起了问题 • 1 人关注 • 0 个回复 • 2275 次浏览 • 2016-11-07 11:41 • 来自相关话题

elasticsearch ik分词插件 问题

Elasticsearchmedcl 回复了问题 • 3 人关注 • 1 个回复 • 971 次浏览 • 2016-11-07 11:35 • 来自相关话题

请问 elasticsearch2.2.0环境,不安装delete-by-query插件,java应用怎么批量删除elasticsearch的数据

ElasticsearchXargin 回复了问题 • 4 人关注 • 3 个回复 • 2434 次浏览 • 2016-11-06 23:13 • 来自相关话题

在ES的搜索中怎么搜索出field事空字符串的的结果 是一个 “ ” 不是null

回复

Elasticsearchedwardyang6936 发起了问题 • 2 人关注 • 0 个回复 • 3075 次浏览 • 2016-11-04 17:54 • 来自相关话题

es5.0内存占用过大问题

Elasticsearchkennywu76 回复了问题 • 4 人关注 • 3 个回复 • 3961 次浏览 • 2016-11-04 15:10 • 来自相关话题

Elastic Advent Calendar 活动启动咯!

Adventmedcl 发表了文章 • 11 个评论 • 3162 次浏览 • 2016-11-04 13:46 • 来自相关话题

时间一转又到了年末,去年的 Advent 在三斗的发起下,进行的很不错,今年的 Advent 活动继续办下去吧,借鉴日本(http://qiita.com/advent-calendar/2016/elastic)的做法,我们今年可以先报名占坑,预定一个日子和你打算写的文章的标题,尽量错开时间。

今年的Advent文章也会同步发布到社区公众号。

去年 Advent 活动回顾 http://elasticsearch.cn/topic/advent
 
由于本站没有日历的功能,大家留言评论报名预定就好了。
 
格式(仅12月):日期,标题
如:12月x日 , xxx 小技巧一则
 
已发布:
《大规模Elasticsearch集群管理心得》
《Kibana 系漫游指南》 
《创建一个你自己的 Beat》
《将sql转换为es的DSL》
《Elasticsearch 2.x mapping tips》
《无外网环境10分钟快速集成 elasticsearch-head》
《Elasticsearch 5 入坑指南》
《可定制的 elasticsearch 数据导入工具 ——mysql_2_elasticsearch》
《记一次es性能调优》
《PacketBeat奇妙的OOM小记》
《ES5.0.0 安装记录》

Es 从2.3升级到5.0的问题

Elasticsearchmedcl 回复了问题 • 2 人关注 • 1 个回复 • 3144 次浏览 • 2016-11-04 10:21 • 来自相关话题

ES的几个问题

Elasticsearchmedcl 回复了问题 • 2 人关注 • 1 个回复 • 2659 次浏览 • 2016-11-04 10:18 • 来自相关话题

elasticsearch源码怎么部署到eclipse啊?maven和git都不行。。。

Elasticsearchlucaslan 回复了问题 • 3 人关注 • 1 个回复 • 2331 次浏览 • 2016-11-03 17:41 • 来自相关话题

TransportClient连接管理问题

Elasticsearchmedcl 回复了问题 • 3 人关注 • 3 个回复 • 3293 次浏览 • 2016-11-03 14:20 • 来自相关话题