爬虫技术简单应用---Spider

我们在进行网站开发时会经常用到其它相关网站的信息，这时候我们就会用的爬虫技术。

首先，我们得在相关开发平台上下载：lxml,bs4,requests这三个模块，下载后就可以了。

然后，在写上一个简单的角本，就可以进行相关操作了。以下是该简单角本：

from bs4 import BeautifulSoup
import requests


def get_url(url):

    web_url = requests.get(url)
    soup = BeautifulSoup(web_url.text,"lxml")
    title = soup.find("title").text
    description = soup.find_all(attrs = {"name":"description"})[0]["content"]
    print(title,description)


# def req(url):
#     web_info = requests.get(url)
#     print(web_info.text)

# if __name__ == '__main__':
#     req("http://www.taobao.com")

if __name__ == '__main__':
    get_url("http://www.taobao.com")