百度不收录那就把百度蜘蛛禁掉！

最近想明白一件事，抖音、小红书、还有懂车帝这些字节跳动旗下的之前都是这种做法。

百度不是喜欢大网站吗，不是收录小网站吗，那就直接把百度蜘蛛禁掉，不收录又要来爬，浪费服务器资源。

直接在robots.txt里禁百度、搜狗、360这些搜索引擎的蜘蛛，专心做内容。

这么多搜索引擎来爬是真要命，很DOSS攻击似的。

等网站内容都很丰富，质量很高了，在解除robots.txt限制。