日志分析的时候发现蜘蛛在抓取竞价计划页面,这是怎么回事,占比还比较大

2021-03-26 19:25发布

正常我们的这个页面到?前面就没有了,后面是为了标记竞价和普通访问区分用的。分析日志发现几乎一半的蜘蛛都去抓这个页面。

且在百度统计里面,特别北京来的访客户,访问的也是页面,怀疑就是蜘蛛

这种情况怎么解决,对网站有影响吗

1条回答
马岱
1楼 · 2021-03-26 19:25.采纳回答
微笑

去禁止抓取试试,你网站路径应该有这个页面,所以百度蜘蛛才去抓的

奋斗中:

进来学习一下看看怎么样

相关问题

    相关文章