使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

ES在eBay大数据计算资源管理平台中的使用

2018-12-08 by 金澜涛

金澜涛 eBay大数据工程师,
目前就职于eBay大数据基础架构组,拥有6年大数据平台架构方向工作经验。在加入eBay之前,先后在阿里巴巴系统平台和大众点评的大数据部门工作。主要从事Hadoop,Spark开发,优化和运维,是Hadoop,Spark,Hive等开源社区贡献者。
 

分享主题:ES在eBay大数据计算资源管理平台中的使用
主题摘要:eBay大数据计算平台承载着整个eBay的离线计算任务,提供松散和自由的数据使用方式,同时也在作业和资源的管理上增加了挑战。eBay大数据基础架构组为了解决出现的一系列问题,开发了一套workload管理系统,对运行在集群上的各种作业进行统一的分析和管理,其中ElasticSearch作为该系统背后的存储和查询服务,提高了系统的效率和可用性。本次分享主要对该计算资源管理平台进行介绍,以及我们在ES使用上的一些问题和经验。