python之爬虫爬有道词典

首先我们先去有道词典网站

找到这个网址的格式

然后

右键网页源代码

找到翻译所在的部分并记录下来

现在浏览器部分的任务就完成了

我们现在开始敲代码

首先是url 就是有道的网址和我们要查找的单词

url = 'http://dict.youdao.com/w/eng/%s' % word

然后我们用urllib2去抓取网页的包

page = urllib2.urlopen(url).read()

之后我们用BeautifulSoup去解析page

data = BeautifulSoup(page, 'lxml')

最后用我们记下的标签去找相应的内容就行了

data.findAll('div', attrs={'class': 'trans-container'})[0].findNext('ul').text

整体代码：

 1 import urllib2
 2 from bs4 import BeautifulSoup
 3 
 4 def query(word):
 5     url = 'http://dict.youdao.com/w/eng/%s' % word
 6     page = urllib2.urlopen(url).read()
 7     data = BeautifulSoup(page, 'lxml')
 8     return data.findAll('div', attrs={'class': 'trans-container'})[0].findNext('ul').text
 9 
10 if __name__ == '__main__':
11     while True:
12         print(query(raw_input()))

运行结果：

哇你看是不是学个爬虫很简单