一、开发爬虫的步骤
1.确定目标抓取策略：
打开目标页面，通过右键审查元素确定网页的url格式、数据格式、和网页编码形式。
①先看url的格式, F12观察一下链接的形式;
② 再看目标文本信息的标签格式, 比如文本数据为div class="xxx",
③ 容易看到编码为utf-8
2.分析目标
目标: 百度百科python词条
入口页: http://baike.baidu.com/item/Python
词条页面url格式:/item/****
数据格式:
标题: <dd class="lemmaWgt-lemmaTitle-title"><h1>****</h1></dd>
简介: <div class = "lemma-summary">****</div>
页面编码: utf-8
3.实例代码
爬取百度百科Python词条以及相关的1000个页面数据