pdf文件爬取
昨天已经爬取了所有的超链接和标题
然后现在开始拼接然后进行下一步的爬取
其中已经将全部的超链接 和 标题 保存
然后进行遍历就可将全部的文件爬取
首先
是本地链接的拼接
上一步是得到了论文的一个链接
链接可以直接请求响应然后获得内容
标题是作为爬取下来的pdf文件的内容文件文件名
所以开始拼接
首先请求链接
response = requests.get(url)
然后拼接本地文件保存路径
自己的文件夹路径是
file_path = 'C:/Users/admin/Desktop/ECCV2018'
然后是文件名的拼接
PDF_path = file_path+os.path.sep+'{0}.{1}'.format(title.replace(':', '').replace('?', ''), 'pdf')
其中为了防止有非法字符
使用replace替换： 和 ？
然后连接到一起