es版本：6.X
python版本: 2.7
使用python获取特定的数据(过滤条件为dsl), 目前做了测试
①requests直接对接es集群：1070W/1159s
②scroll_id方式：1070W/1177s
③scan(内部封装了scroll_id): 1070W/912s
这几乎就是1W/s的速度, 很难接受， 请问有什么办法可以缩短这个时间
es版本：6.X
python版本: 2.7
使用python获取特定的数据(过滤条件为dsl), 目前做了测试
①requests直接对接es集群：1070W/1159s
②scroll_id方式：1070W/1177s
③scan(内部封装了scroll_id): 1070W/912s
这几乎就是1W/s的速度, 很难接受， 请问有什么办法可以缩短这个时间
2 个回复
rochy - rochy_he
赞同来自: elasticStack
如果带宽允许的情况下，可以尝试修改每次拉取的 size
找到一个合适的大小对提高数据获取性能也比较重要
当然你也可以使用 sliced-scroll 多线程并发拉取 scroll 的数据：https://www.elastic.co/guide/e ... croll
elasticStack - 90后it大数据男
赞同来自: