咨询电话:029-68625857
当前位置:首页 > 新闻资讯 > 搜索引擎网络推广 > 抓取诊断,抓取失败怎么办
Search Engine Promotion Network
搜索引擎网络推广

抓取诊断,抓取失败怎么办

来源:西安网站优化 日期:2015-07-10 16:04:12 浏览:0
最近有一个新站刚上线,今天写了第一篇文章,写完文章我就用百度站长平台抓取诊断功能试着抓去了一下该链接,发现竟然抓取失败了.提取的异常信息是:未解析到ip或有Robots封禁.
由于该站换了香港空间不知道是不是ip变了的缘故,但是当你ping网站域名之时你就会发现ping不同,但是ping不同不一定是网站有问题,有些空间商人家是故意不让其ping通的,恒创的空间一般好像都不让ping通,但是网站打开收录是不受影响的,然后我想起来可能是我之前封锁了搜索引擎的蜘蛛,为的是不让百度抓取网站的测试文章.至于为何不让百度抓取测试文章呢,我在前面的文章网站改版死链提交问题中已经解答过了,百度收录了测试文章,但是你自己到时候要删除这些文章,然后这些文章就成了死链接,对用户体验和搜索引擎都是不利的,所以我们需要利用robots文件来屏蔽百度蜘蛛爬虫.
抓取失败异常信息
我昨天试了三次,发现都失败了,当你点击抓取失败那个按钮,发现弹出来的界面给出了原因,一个是ip的问题另一个就是robots,但是有时候网站服务器不稳定也有可能抓取失败,但是一般等一会再抓取又成功了.当我在百度site该站的时候发现百度还没反应过来,以为我的robots还处于封禁状态,但是今天却抓取成功了,看来百度还没更新网站快照,哈哈!

网站url抓取失败
实际上我上面列出的只是我个人网站抓取失败的原因,关于抓取失败的原因也是非常多的,下面我们看看百度站长平台文档列出的抓取诊断,抓取失败的原因:
url规范,重定向错误,服务器连接错误,robots封禁错误,dns错误,404错误,访问遭拒绝,参数错误,socket读写错误,读取http头或者页面内容时失败.(详细原因请链接:http://zhanzhang.baidu.com/college/courseinfo?id=267&page=9#2)
这一看10多种原因,但是我们也不需要死记硬背,我们只要遇到问题,然后点击那个抓取失败,百度一般都会帮你缩小范围,然后我们只要关注我使我网站抓取失败的原因就可以了.

本文由西安网站优化整理发布,转载请注明出处:http://www.mairadm.com/show-16-305-1.html
上一篇:百度站长平台链接分析改版
下一篇:死链提交删除失败
网络营销外包 营销型网站建设 网络营销培训 微博微信运营
联系我们 Contact Us
手机:15829780746
邮箱:3126729099@qq.com
公司网址:www.mairadm.com
地址:陕西省西安市碑林区泛渼大厦B座
提供服务:西安网络推广-网络营销外包公司-西安网站优化-网站地图
版权所有:西安麦拉信息技术有限公司 电话:029-68625857 E-mail:3126729099@qq.com 地址:陕西省西安市碑林区泛渼大厦B座 陕ICP备14011167号
  • 微信扫一扫