新程序 发表于 2025-5-27 16:22:05

通过robots.txt文件屏蔽搜索引擎蜘蛛

通过robots.txt文件屏蔽搜索引擎蜘蛛


针对特定搜索引擎
User-agent: Baiduspider
Disallow: /

User-agent: 360Spider
Disallow: /

User-agent: YisouSpider
Disallow: /屏蔽全部蜘蛛
User-agent: *
Disallow: /

骆贵 发表于 2025-10-19 22:09:24

前排留名，哈哈哈

杓疠? 发表于 2025-10-21 00:47:42

分享、互助 让互联网精神温暖你我
页: [1]
查看完整版本: 通过robots.txt文件屏蔽搜索引擎蜘蛛