北理工爬虫课程学习记录

Requests

 

 

 

post方法如果提交字典会被存到form下,如果直接提交字符串,会被存到data下

put方法和post类似,只不过他会覆盖原始数据

               ###各个方法的使用###

 

13个 访问参数

url修改的字段

//模拟浏览器进行访问

//模拟不同的IP地址对这个网站进行访问

 

 Beauyiful Soup

 

 

 

tag.a只会找第一个a,》》tag.a.attrs["id"]

 

 

soup.prettify()
让页面打印的时候,更加清楚的显示

 

###信息提取###

find_all()

#可以find_all(‘a’)/find_all([‘a’,'b'])/find_all(True)#打印出所有标签

 

 #找到id以link开头的所有标签

 

 #由于find_all函数特别常用,因此

 

 

正则表达式

Match

 re默认贪婪匹配,即如果我调用search,如果如果从索引开始,有多个可匹配项,则它会默认选择会长的匹配

 

原文地址:https://www.cnblogs.com/ningxinjie/p/11420391.html