SharePoint 2013爬网报错
An unrecognized HTTP response was received when attempting to crawl this item. Verify whether the item can be accessed using your browser.
然后登陆网站，发现在服务器上输入3次用户名密码白页，考虑到本地回环的问题。
参考
https://support.microsoft.com/en-gb/kb/896861
修改禁用了服务器上的本地回环检查，然后发现网站能够打开了
然后，在执行爬网，发现爬网也正常了！