具体的使用操作如下:
生成 robots.txt 文件
使用 Google 帐户登录 Google 网站管理员工具
在左侧列中,点击 工具,并点击生成 robots.txt
选择您的默认漫游器访问权限 我们建议您允许所有漫游器,并通过以下步骤排除您不希望访问您网站的特定漫游器。 这将有助于防止您的网站发生意外拦截关键抓取工具的问题
指定任何附加规则。 例如,将 Googlebot 拦截于您的网站的全部文件及目录之外:
在操作列表中,选择 Disallow
在漫游器列表中,点击 Googlebot
在文件或目录对话框中,输入 /。 要指定一项以上条目,请在每一行后点击 ENTER,并在新的一行中输入新的条目
单击添加。 robots.txt 文件代码将自动生成。
保存 robots.txt 文件,方法是下载文件或将内容复制到文本文件并保存为 robots.txt。 将文件保存到您网站的顶级目录下
关于 robots.txt 生成器
robots.txt 文件使您能够指定您希望阻止其在您网站上抓取文件的漫游器(也被称为"bots"或"抓取工具")。许多网站管理员不喜欢手动创建 robots.txt 文件。 网站管理员工具 robots.txt 生成器使您能够轻松创建 robots.txt 文件,您可以在 robots.txt 文件中指定您不希望抓取您网站的任何漫游器,并允许或拦截对您服务器上特定文件及目录的访问。 例如,您可以:
阻止网络抓取工具访问您网站上的文件或目录
阻止网络抓取工具访问您的整个网站
阻止特定的抓取工具访问您的网站
值得注意的是,robots.txt 文件中规定的规则为要求而非强制性命令。 Googlebot 及所有的著名漫游器将遵守 robots.txt 文件中的指示。 但是,一些无赖漫游器 - 例如违禁漫游器、抄袭漫游器及其他不良漫游器 - 可能不遵守此文件。因此,我们建议您在服务器的受保护密码目录下保存机密信息。 同时,不同的漫游器对 robots.txt 文件的解译可能不同,并且并非所有漫游器都支持文件中的每个指令。 尽管我们已尽最大努力创建适用于所有漫游器的 robots.txt 文件,但我们不能保证这些文件的解译效果。
当您使用 robots.txt 生成器创建文件后,可以下载文件并将其保存于您服务器的顶级目录下。
要检查 robots.txt 文件是否正常,请使用网站管理员工具中的 robots.txt 分析工具。