找回密码
 我要注 册
搜索
热搜: 活动 交友 discuz
查看: 790|回复: 0

哪些网站垃圾蜘蛛可以屏蔽?屏蔽无流量搜索引擎抓取

[复制链接]

384

主题

0

回帖

111111万

积分

管理员

积分
1111110781
发表于 2024-6-4 22:58:21 | 显示全部楼层 |阅读模式
哪些网站垃圾蜘蛛可以屏蔽?屏蔽无流量搜索引擎抓取 admin2022年04月11日 21:45:42Spider428 网站做的越大,蜘蛛越多。可是有时候会发现:网站被各种搜索引擎的蜘蛛抓的服务器都快崩溃了,严重的占用了服务器的资源。这个时候要怎么办呢? 百度蜘蛛:Baiduspider 谷歌蜘蛛:Googlebot 360蜘蛛:360Spider SOSO蜘蛛:Sosospider 神马蜘蛛:YisouSpider 微软必应: BingBot 在国内,我们不要把这几个蜘蛛使用robots.txt屏蔽就可以了,至于其他的,都可以把它们干掉,基本不会为网站带来任何的实际流量! 来源:A5营销 扫描二维码推送至手机访问。 版权声明:本文由SEO自学网发布,如需转载请注明出处。 本文链接:http://www.seozixuewang.com/post/1177.html 标签: Spider
您需要登录后才可以回帖 登录 | 我要注 册

本版积分规则

手机版|小黑屋|seo小学生

GMT+8, 2024-11-10 07:39 , Processed in 0.057120 second(s), 21 queries .

Powered by Discuz! X3.5

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表