网站建设公司把你的robots.txt写对了吗？

网站里一般都有一个robots.txt文件，来告诉搜索引擎，哪些目录或者文件你可以抓取，哪些你不要抓取。但是我们发现非常多的网站建设公司并不知道还需要这个文件，根本就不写。

有的写了，但是没有写对，也是不行的。

我公司一般是这样写的：

User-agent: Baiduspider

Allow: /

User-agent: *

Allow: /

但，有的就不一定，会写出问题，比如说有以下的情形可能就要出问题：

一、禁止某些目录抓取或者整站禁止

我公司制作网站的时候，是禁止蜘蛛抓取的，这样极大程度上保持网站的新鲜度，防止搜索引擎收录。但是上线的时候就会给这个文件修改成全部允许抓取。

除非有特殊需求，才会禁止某些目录抓取。

另外，对于网站后台，我们是直接写在代码里禁止抓取的。

二、禁止后台抓取

很多人的理解就是后台不要让蜘蛛抓取，但是，你同时给别人暴漏了自己的网站后台，这也是很不理智的。所以，一般情况下，是使用<meta name="robots" content="nofollow" />标签来防止后台抓取的，而不要写在robots.txt文件里。

所以，当你的网站上线之后要检查一下是否robots.txt写对了，有时候网站建设公司也会有忽略的时候。如果你知道了robots.txt的正确写法，就可以协助检查一下，如果发现有问题可以及时给网站建设公司反应，写出合理的规则文件。