通过robots.txt文件屏蔽搜索引擎蜘蛛

通过robots.txt文件屏蔽搜索引擎蜘蛛


针对特定搜索引擎

1. User-agent: Baiduspider
   
2. Disallow: /
   
3. 
   
4. User-agent: 360Spider
   
5. Disallow: /
   
6. 
   
7. User-agent: YisouSpider
   
8. Disallow: /

复制代码

屏蔽全部蜘蛛

1. User-agent: *
   
2. Disallow: /

复制代码

前排留名，哈哈哈

分享、互助 让互联网精神温暖你我

鼓励转贴优秀软件安全工具和文档！

懂技术并乐意极积无私分享的人越来越少。珍惜

分享、互助 让互联网精神温暖你我

收藏一下   不知道什么时候能用到

谢谢楼主提供！

很好很强大  我过来先占个楼 待编辑

感谢分享，下载保存了，貌似很强大

喜欢鼓捣这些软件，现在用得少，谢谢分享！

收藏一下   不知道什么时候能用到

懂技术并乐意极积无私分享的人越来越少。珍惜

用心讨论，共获提升！

前排留名，哈哈哈

yyds。多谢分享

热心回复！

很好很强大  我过来先占个楼 待编辑

yyds。多谢分享

过来提前占个楼