使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

elasticsearch长时间插入cup接近百分之百

Elasticsearch | 作者 followTheEs | 发布于2017年10月09日 | 阅读数:2775

心疼电脑,cpu百分之百运转...又卡
 默认配置下,短时间插入没问题。而一旦插入几个小时后,cup接近百分之百。
 
任务管理器查看是java.exx这个进程占据太多cpu。又通过pslist找到具体的线程。
 
通过线程得到日志。具体如下
 
"elasticsearch[Anti-Phoenix Force][transport_client_worker][T#2]{New I/O worker #2}" #18 daemon prio=5 os_prio=0 tid=0x0000000058a58800 nid=0x600 runnable [0x000000005be5e000]
   java.lang.Thread.State: RUNNABLE
    at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll0(Native Method)
    at sun.nio.ch.WindowsSelectorImpl$SubSelector.poll(WindowsSelectorImpl.java:296)
    at sun.nio.ch.WindowsSelectorImpl$SubSelector.access$400(WindowsSelectorImpl.java:278)
    at sun.nio.ch.WindowsSelectorImpl.doSelect(WindowsSelectorImpl.java:159)
    at sun.nio.ch.SelectorImpl.lockAndDoSelect(SelectorImpl.java:86)
    - locked <0x00000000c0480be0> (a sun.nio.ch.Util$3)
    - locked <0x00000000c0480bd0> (a java.util.Collections$UnmodifiableSet)
    - locked <0x00000000c0480a70> (a sun.nio.ch.WindowsSelectorImpl)
    at sun.nio.ch.SelectorImpl.select(SelectorImpl.java:97)
    at org.jboss.netty.channel.socket.nio.SelectorUtil.select(SelectorUtil.java:68)
    at org.jboss.netty.channel.socket.nio.AbstractNioSelector.select(AbstractNioSelector.java:434)
    at org.jboss.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:212)
    at org.jboss.netty.channel.socket.nio.AbstractNioWorker.run(AbstractNioWorker.java:89)
    at org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:178)
    at org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108)
    at org.jboss.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
 
 
不知道大家有没有什么解决之道
已邀请:

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

插入的时候,htop看下各核的cpu使用率,优化从堆内存,线程池,队列数入手。

要回复问题请先登录注册