SEO优化技巧：网站robots.txt的应用场景及写法 – 福建SEO优化学习_福建运营_福建网络营销学习_

robots.txt是什么？

robots.txt是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时，它首先会检查根目录是否存在robots.txt，如果有就确定抓取范围，没有就按链接顺序抓取。

(1)多个URL的状态

网站动态URL已经改为静态URL或伪静态URL,而先前的动态URL不希望被引擎蜘蛛抓取，可以使用robots文件屏蔽先前的动态链接。

(2)网站改版

网站改版意味着很多页面链接都会失效，为了避免网站出现大量死链，可将失效链接写在robots文件中，屏蔽搜索引擎对失效链接的抓取。

(3)网站内部资料

每个网站都有不便于公开的信息资料，只有内部人员可以查阅，可以在robots 文件中告诉引擎蜘蛛不要抓取这些页面。

(4)重复交叉页面过多

如果站内重复交义页面过多，可以将无意义的页面用301 重定向转化成统的URL,然后用robots文件屏蔽掉，减少网站垃圾页面的数量。

robots文件应当放在根目录下，通过“域/robots.txt”查看即可

robots.txt文件的写法可参考之前的文章：robots.txt的写法这里就不在展开讲解了。

(1)不要屏蔽首页的后缀，如index.php、index.html 等。

(2). robots文件要尽量简洁，降低“*” “?”等符号的出现频率。

(3)要选择性地屏蔽，不要屏蔽大量页面，首页不能被屏蔽掉。

(4)文件中一定要放入sitemap (网站地图)，示例如：Sitemap:http://www.extproer.com/sitemap_baidu.xml。

(5)robors 文件中的规则可以分批设置，不一定要一次性统一设置，一般设置完成后一个月生效