关于蜘蛛抓取及反馈问题
2019-04-23 18:00:09 浏览量:375
1.接手的网站是新改版的,之前有些内容是历史遗留下来的已经收录现在是404页面。我的处理方法是提交死链接给百度站长删除,还有就是将旧网站死链接的栏目进行了robots处理。 2. 查看蜘蛛日志反馈的是robots.txt是404 。并且都是宜搜蜘蛛,抓取的全部是旧网站的目录反馈全部是404. 百度抓取是200正常。 想问下宜搜蜘蛛是不是应该屏蔽掉,宜搜抓取的旧网站的目录是不是也该robots掉。 不明白的是为什么收录快照都是正常,robots是404. 自己robots可以正常打开的啊 3.今天收到百度站长平台的提示: 网站重要目录对百度进行封禁是什么意思?
2人参与回答
  • 黎亦峰 坚持自己,创新做事情
    宜搜能给你网站带来多少流量?现在网站的流量基本可以说都来自百度、360、搜狗搜索引擎。所以建议可以直接屏蔽了宜搜的。
    59 2019-04-23 18:00:10
  • 钟锦源 玩魔术的seo从业者
    宜搜蜘蛛可以屏蔽。
    58 2019-04-23 18:00:10

提示信息

联系电话:
1585150508*
QQ交谈:
小编
站长微信:
站长邮箱: service@qingjiuzhubei.com
av迅雷bt资源,好看的三级美国片,欧美三级图片,色先锋影视先锋av资源观看,影音先锋在线av看片