网站收录

要添加sitemap文件,和robots.txt文件,要让爬虫知道你的网站的目录结构。否则你的网站收录的页面会很少的

原文地址:https://www.cnblogs.com/y0umer/p/3839449.html