爬虫页面分析及源码实现

调度程序：

先建立五个模块

spider_main 爬虫的总调度程序

 while循环加入异常处理

URL管理器的编写（UrlManager)

Html_downloader模块

 HtmlParse模块

 

 

Outputer 模块