登录/ 注册
 找回密码
 立即注册
关闭

CSDN热搜

程序园 精品问答 技术交流 资源下载
返回列表 发新帖
首页 › 资源区 › 教程 ›通过robots.txt文件屏蔽搜索引擎蜘蛛

通过robots.txt文件屏蔽搜索引擎蜘蛛

新程序 2025-5-27 16:22:05
程序园永久vip申请，500美金$，无限下载程序园所有程序/软件/数据/等
通过robots.txt文件屏蔽搜索引擎蜘蛛


针对特定搜索引擎
  1. User-agent: Baiduspider
  2. Disallow: /

  4. User-agent: 360Spider
  5. Disallow: /

  7. User-agent: YisouSpider
  8. Disallow: /
复制代码
屏蔽全部蜘蛛
  1. User-agent: *
  2. Disallow: /
复制代码


通过robotstxt文件屏蔽

使用道具 举报

相关推荐
骆贵
2025-10-19 22:09:24

举报

程序园永久vip申请，500美金$，无限下载程序园所有程序/软件/数据/等
前排留名，哈哈哈
杓疠?
2025-10-21 00:47:42

举报

猛犸象科技工作室:网站开发，备案域名，渗透，服务器出租，DDOS/CC攻击，TG加粉引流
分享、互助 让互联网精神温暖你我
寥唏
2025-12-8 15:44:28

举报

程序园永久vip申请，500美金$，无限下载程序园所有程序/软件/数据/等
鼓励转贴优秀软件安全工具和文档！
班嘉淑
2025-12-8 20:59:10

举报

猛犸象科技工作室:网站开发，备案域名，渗透，服务器出租，DDOS/CC攻击，TG加粉引流
懂技术并乐意极积无私分享的人越来越少。珍惜
闹忧踫
前天 09:35

举报

猛犸象科技工作室:网站开发，备案域名，渗透，服务器出租，DDOS/CC攻击，TG加粉引流
分享、互助 让互联网精神温暖你我
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册
发帖
新程序
前天 09:35

5

粉丝关注

1134

主题发布

板块介绍填写区域，请于后台编辑
微信扫一扫