这是个SEO新手容易遇到问题！简单来说，搜索引擎收录网站内容是有协议的，我们可以设置自己的网站内容不被百度等搜索引擎收录！当我们做了这样的设置。 继续了解百度上显示我们的网站收录下面就会有这样的字样！下面丁哥来详细解答一下这个问题产生的原因及如何解决！

一、robots.txt文件的意义，它在网站的什么位置

这个文件就是网站和搜索引擎的收录协议。 同题参见搜索引擎基本上都会按照这个协议来处理网站的收录情况！

文件放置在网站根目录下，如下图显示文件在ftp中的位置！ 继续浏览

二、网站为什么要禁止搜索引擎收录

1.我们大部分网站在改版、建站初期因为内容，链接变动多，为了不让搜索引擎抓取到频繁的更改，所以我们要屏蔽搜索引擎抓取！

2.巨头网站之间的利益之争，如业内很知名的淘宝屏蔽百度收录！关于这个“舒扬”曾经写过一篇文章，大家可以看看

我眼中的巨头之站：淘宝为何屏蔽百度抓取？

三、网站遇到这样的问题怎么解决

1、找到根目录下的robots.txt文件，去掉这一句disallow:/。解除屏蔽抓取；

最简单的robots.txt文件设置：表示容许所有的搜索引擎收录网站所有内容！

2、下面一步很关键，就是到站长平台下去更新robots文件，告诉搜索引擎你的网站已经对它解除了屏蔽，可以来抓取我的网页内容了，主动对搜索引擎示好，快照更新过来之后，现象就会消失了。