我一直在按照http://wiki.apache.org/nutch/Nutch2Tutorial上的说明进行操作,以查看是否可以通过ElasticSearch进行安装。我已经成功完成了爬网,没有任何实际问题,但是当我尝试将结果加载到elasticsearch中时,我遇到了麻烦。
我发出命令:
bin/nutch elasticindex <$cluser> -all
它等待了很长时间,然后返回一个错误:线程“ main” java.lang.RuntimeException中的异常:作业失败:名称=弹性索引[ocpnutch],jobid = job_local_0001
如果我在以下位置查看日志:
~/apache-nutch-2.1/runtime/local/logs/hadoop.log
我看到这样的几个错误:
Netty层捕获到异常[[id:0x569764bd,/192.168.17.39:52554 => /192.168.17.60:9300]] java.lang.OutOfMemoryError:Java堆空间
elasticsearch的日志中没有任何内容。
我尝试将以下内容更改为:elastic.max.bulk.docs和elastic.max.bulk.size更改为小尺寸,并分配大量GB进行小插曲,但无济于事。
jvm是:Java(TM)SE运行时环境(内部版本1.7.0_21-b11)
有谁知道我在做什么错-哪些其他诊断信息将有助于解决此问题?
我也有完全一样的问题。我使用elasticsearch 0.90.2。我找到了一个解决方案:使用elasticsearch 0.19.4可以正常工作!