使用Python获取Wikipedia文章

小编典典

使用Python获取Wikipedia文章

python

我尝试使用Python的urllib来获取Wikipedia文章：

f = urllib.urlopen("http://en.wikipedia.org/w/index.php?title=Albert_Einstein&printable=yes")           
s = f.read()
f.close()

但是，我得到的不是HTML页面，而是以下响应：错误-Wikimedia Foundation：

Request: GET http://en.wikipedia.org/w/index.php?title=Albert_Einstein&printable=yes, from 192.35.17.11 via knsq1.knams.wikimedia.org (squid/2.6.STABLE21) to ()
Error: ERR_ACCESS_DENIED, errno [No Error] at Tue, 23 Sep 2008 09:09:08 GMT

维基百科似乎阻止了不是来自标准浏览器的请求。

有人知道如何解决此问题吗？

阅读 186

2020-12-20

共1个答案

小编典典

你需要使用的urllib2是superseedes的urllib在蟒蛇STD库，以改变用户代理。

直接从例子

import urllib2
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
infile = opener.open('http://en.wikipedia.org/w/index.php?title=Albert_Einstein&printable=yes')
page = infile.read()

2020-12-20