关于抓取百度数据的问题

1、在抓取百度数据时发现一个问题,如果直接抓取,抓取后的Html内搜索结果会比直接百度显示页面少,研究后发现应该是百度Cookies问题,百度自身访问的时候是构造了一个BAIDUID

如果我把BAIDUID这个Cookies删除,那结果为1条:

而BAIDUIDCookies存在情况下访问则搜索结果有5条:

解决办法就是构造Cookies!

原文地址:https://www.cnblogs.com/liuxiaopi/p/6109686.html