关于网站robots.txt文件那些事情

网站优化的人都知道,robots.txt文件是告诉搜索引擎,那些可以抓取,那些不能抓取,今天,我们来系统讲讲robots.txt文件那些事情。

如何通过Robots协议屏蔽搜索引擎抓取网站内容?

Robots协议(也称为爬虫协议、机器人协议等)的全称是网络爬虫排除标准(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。避免出现网站被爬虫访问,导致耗费大量流量和宽带的问题。

robots.txt文件的参数配置说明

如果有些网站页面访问消耗性能比较高,不希望被搜索引擎抓取,您可以在站点根目录下存放robots.txt文件,屏蔽搜索引擎或者设置搜索引擎可以抓取文件的范围以及规则

robots.txt文件的参数配置说明如下:

Robots协议不是强制协议,通过robots.txt文件能够保护您的一些文件不暴露在搜索引擎之下,从而有效地控制爬虫的抓取路径。但是,部分搜索引擎或者伪装成搜索引擎的爬虫不会遵守该协议,对于不遵守该协议的情况,以下处理方法无效。

关于网站robots.txt文件那些事情
关于网站robots.txt文件那些事情

操作示例

本部分以下面场景为例,为您展示通过Robots协议屏蔽搜索引擎抓取网站内容的方法,操作示例如下所示。

示例一:执行以下命令,禁止所有搜索引擎访问网站的任何资源。

User-agent: *
Disallow: /

示例二:执行以下命令,允许所有搜索引擎访问任何资源。

User-agent: *
Allow: /

说明:您也可以建一个/robots.txt空文件,将Allow的值设置为/robots.txt。

示例三:执行以下命令,禁止某个搜索引擎(例如Google)访问网站。

User-agent: Googlebot
Disallow: /

示例四:执行以下命令,允许某个搜索引擎(例如Baidu)访问网站。

User-agent: Baiduspider
allow: /

示例五:执行以下命令,禁止所有搜索引擎访问特定目录。

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/

示例六:执行以下命令,允许访问特定目录中的部分URL,实现a目录下只有b.htm允许访问。

User-agent: *
Allow: /a/b.htm
Disallow: /a/

关于关于网站robots.txt文件那些事情,我们就简单介绍这些,希望对你有帮助。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注