robtos.txt这个文件是什么用的?在seo网站优化的过程中,我们经常会碰到robots文件,这个是什么意思?今天,我们来简单讲解下。
什么是robots文件
robots文件是放在网站根目录下的一个文件,是搜索引擎与网站沟通的重要渠道,网站与搜索引擎爬虫之间的协议,告诉网站哪些可以抓取,哪些不能抓取。
网站上总有些文件,是不让抓取的,或者说抓取没有意义,为了节省资源,用robots文件来告诉搜索引擎,哪些不要抓取,比如搜索页面、筛选页面、后台登录地址等。
如何制作robots文件呢?只需要创建一个robots.txt文件就可以了,让好在txt文件里加入代码就可以了,在创建txt文件里面,一定要加入网站地图。
robots文件需要注意的事项
在制作robots文件过程中,一定要注意一些事项,避免因为失误造成网站收录和排名没有的情况,具体需要注意以下这些事情。
1、不同的搜索引擎,代码是不一样的,如果是用星号表示,则是适用于所有的搜索引擎。
2、Allow意思是允许抓取,Disallow的意思是不允许抓取。
3、robots.txt文件中至少需要屏蔽一个,比如你可以屏蔽:搜索结果页面或者404页面。
4、需要把sitemap放到Robots文件中,这样方便蜘蛛抓取。
5、需要持续更新robots文件,而不是一次性决定所有。
6、一般情况下,这些页面需要使用Disallow现在抓取:网站后台地址、图片地址、下载文件地址、错误链接等等。
关于robors文件,就简单讲这些,robots文件很容易和nofollow属性搞混淆,关于什么是nofollow属性,以及有什么作用,之前已经讲过了,如果不明白的还可以去看看。
robots文件是网站根目录下的一个子文件,主要用来搜索引擎与网站沟通的作用。
robots文件就是放在网站根目录下的一个文件,在制作过程中使用适用于所有的搜索引擎的代码。