本人新弄的一个站 遇到这个问题不知道该怎么办,百度站长后台一直提示说对百度蜘蛛全站禁封,
修改好了robots应该就没有问题了!是百度响应速度不够吧。
建议:robots文件更新成功,就不会对百度屏蔽了,给点时间。或者进行网站的提交。认证之后可以试图提交网站地图。
查看下日志,看蜘蛛是否有过来。
你的截图robots文件写法都是正确的,建议细心检查一次,包括标点符号在写的时候注意输入法的标点。是否在根目录显示。(网址/robots.txt)看是否显示正常。
百度程序遵守robots文件协议,正确的robots文件,没有屏蔽蜘蛛,是可以抓取的。程序是不会骗人的,程序正确就不会有问题,往往是?#32422;?#19981;够细心哦!!
其实遇到这样的问题,最简单最实用的办法是直接删除robots文件,没有这个文件,就是默认允许了。等到网站被收录后在设置robots。
友情提醒?#21512;駑ordpress这样的程序,你即是在根目录设置了robots文件允许蜘蛛抓取,也是不行的哦,你需要登录到后台程序开启对蜘蛛的抓取才行。必要的情况下还需要安装robots插件进行设置。