Snippets

代码片段收集板

让搜索引擎不要跟踪爬虫edit

日期:

作者: 小胡子哥

所有的爬虫走开:

<meta name="robots" content="noindex">

Google 爬虫走开:

<meta name="googlebot" content="noindex">

不要爬这个链接:

<a href="privatepage.html" rel="nofollow">私有链接</a>
标签:

loading...

这网速真是弱爆了...客官稍等,评论还在加载~