4-2 setting中一定要将ROBOTSTXT_OBEY = False的注释去掉 # Obey robots.txt rules##默认遵循robots协议的，默认去读取每个网站上的robots协议ROBOTSTXT_OBEY = False