首页 > 新闻资讯 > SEO优化
网站的robots.txt文本的用处有哪些?
添加时间:2019/9/23 浏览次数: 301

  什么是robots协议?
  robots是网站和搜索引擎之间的一个协议。用来fangzhi一些不想被搜索引擎索引的页面或内容的抓取,而且可以吧sitemap地图的路径放在robots协议中,这样可以帮助网站地图的抓取。能够净化网站的健康度,jiangdi网站不健康内容收录。
  robots协议怎么写?
  robots的常用的命令一般有:
  User-agent:*(这里的*代表的搜索引擎种类,这句话表示可以让搜索引擎都可以访问抓取这个网站。)
  Disallow:(这个表示禁止的意思,一些不想让搜索引擎访问的页面可以把路径写下来。)
  Allow:(这个表示允许的意思,想要搜索引擎访问页面可以把路径写下来。)
  robots协议的作用
  通过我们上面的内容,我们对robots也有了了解。当搜索网站时,会优先访问网站的robots协议,从中来获取信息来抓取网站。那么如果没有robots协议会对网站有什么影响呢?
  1、如果没有robots,搜索引擎蜘蛛访问网站时依旧会先访问robots.txt,没有的话会返回404页面,影响虽然不大,但是也不好。
  2、没有robots,搜索引擎蜘蛛默认抓取内容。这一点影响不是很大,但是还是取决于网站的内容,如果存在很多低质量的内容,建议还是使用robots进行xian制比较好。
  综合上面所说的内容,robots协议还是加上比较好,没有很麻烦,我们一般会把robots放在FTP的根目录下,有益于蜘蛛的抓取。

上一页: 什么原因造成网站的关键词排名不稳定呢?
下一页:网站内页排名如何通过内链来优化?
Copyright © 2010 www.sct-e.com All Rights Reserved 电话:0532-86880609
版权所有 ©2010 青岛新蓝网络信息有限公司   鲁ICP备14014936号-7  青岛网站建设 青岛网站制作 青岛网站优化  

鲁公网安备 37021002000719号