网站优化


如何限制搜索引擎收录指定的网页或网站?

日期:2020.06.09 | 来源:本站 | 浏览:0

首页>>行业资讯>>网站优化

  很多站点出于隐私的考虑不希望百度保留快照,网上也在讨论如何禁止百度保留快照的方法。那么,到底该如何禁止百度保留快照呢?


如何限制搜索引擎收录指定的网页或网站?
 

  搜索引擎蜘蛛不断爬行互联网,如果我们网站没有做出禁止搜索引擎收录的操作,很容易就会被搜索引擎收录。那么下面介绍一下怎么样禁止搜索引擎收录网站内容。

 

一、禁止搜索引擎蜘蛛收录整个网站的内容

 

1.新建一个命名为“robots”的文本文件,robots文件是搜索引擎和网站之间的一个协议。

 

如何限制搜索引擎收录指定的网页或网站?
 

 

2.设置搜索引擎和网站之间的协议,User-agent:*表示和所有搜索引擎协议适用;Disallow:/表示禁止抓取收录全站。

 


 

 

二、如果只是禁止某一个搜索引擎抓取收录网站的某一个目录,比如要禁止百度抓取收录jinzhi目录,则如图设置。

 

 

  保存文件后,把文件上传到服务器根目录,即表示搜索引擎和网站之间的协议生效,可以禁止搜索引擎抓取收录网站内容。


 

三、禁止搜索引擎蜘蛛收录指定网页的内容

 

  在网页首页代码与之间,加入代码,此标记禁止搜索引擎抓取网站并显示网页快照。

 

  有时候写了robots 我发现好还是会搜到禁止的内容的,noarchive 是禁止搜索引擎建立网页快照,但是不代表你不索引你的网页。也就是说这个noarchive是不能禁止搜索引起抓取你的内容的,要禁止抓取建议采用

 

限制所有的搜索引擎建立你的网页,必须了解搜索引起抓取页面相关的命令:

 

index 命令:告诉搜索引擎抓取这个页面

 

follow 命令:告诉搜索引擎可以从这个页面上找到链接,然后继续访问抓取下去。

 

noindex 命令:告诉搜索引擎不允许抓取这个页面

 

nofollow 命令:告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

 

noarchive 命令:告诉搜索引擎禁止搜索引擎建立网页快照

 

  禁止搜索引擎抓取收录也就意味着很难从各大搜索引擎那来访客了,但是如果真的是个人使用又不想被其他人看到还是挺好的。
 

  >>>推荐类似信息如下: