小编典典

bin / nutch弹性索引<$ cluser> -all的OutOfMemoryError(Nutch 2.1)

elasticsearch

我一直在按照http://wiki.apache.org/nutch/Nutch2Tutorial上的说明进行操作,以查看是否可以通过ElasticSearch进行安装。我已经成功完成了爬网,没有任何实际问题,但是当我尝试将结果加载到elasticsearch中时,我遇到了麻烦。

我发出命令:

bin/nutch elasticindex <$cluser> -all

它等待了很长时间,然后返回一个错误:线程“ main”
java.lang.RuntimeException中的异常:作业失败:名称=弹性索引[ocpnutch],jobid = job_local_0001

如果我在以下位置查看日志:

~/apache-nutch-2.1/runtime/local/logs/hadoop.log

我看到这样的几个错误:

Netty层捕获到异常[[id:0x569764bd,/192.168.17.39:52554 => /192.168.17.60:9300]]
java.lang.OutOfMemoryError:Java堆空间

elasticsearch的日志中没有任何内容。

我尝试将以下内容更改为:elastic.max.bulk.docs和elastic.max.bulk.size更改为小尺寸,并分配大量GB进行小插曲,但无济于事。

jvm是:Java(TM)SE运行时环境(内部版本1.7.0_21-b11)

有谁知道我在做什么错-哪些其他诊断信息将有助于解决此问题?


阅读 245

收藏
2020-06-22

共1个答案

小编典典

我也有完全一样的问题。我使用elasticsearch 0.90.2。我找到了一个解决方案:使用elasticsearch 0.19.4可以正常工作!

2020-06-22