前言

网站设置好robots.txt十分地重要,会很大程度地影响搜索引擎对网站的爬取,因此,设置一个好的robots.txt成为必须的要求,有些小站就有因为没有设置好robots.txt而导致google搜索引擎抓不到本站内容。

设置步骤

其实设置robots.txt也不需要那么麻烦了,只要重要的后台不要被抓取就够了

typecho的后台是/admin/,所以,理论上只要不抓取这个目录就好了

本站的robots.txt,可以参考下面的代码:

User-agent: *
Disallow: /config.inc.php
Disallow: /admin/
Disallow: /var/
Disallow: /install/
Disallow: /install.php
Sitemap: https://www.91linux.org/baidu_sitemap.xml

禁止/admin/是最基础的,保护网站安全
而/var/含一些typecho关键运行文件,但一般不含有资源文件,因此可以放心禁用
/install/是网站的安装文件,一般安装完都会删掉这个目录,所以还是禁止了吧
最后一行sitemap是一个文件,可以帮助搜索引擎更好地抓取网站

Last modification:April 13th, 2020 at 03:17 pm
如果觉得我的文章对你有用,请随意赞赏