许多WordPress站长询问有关如何优化robots.txt文件以改善SEO。
Robots.txt文件用于告诉搜索引擎如何抓取网站，这使其成为功效壮大的SEO工具。
在本教程中，我们将先容如何基于SEO确定一个完善的robots.txt文件。
什么是robots.txt文件？
Robots.txt是站长可以确定的文本文件，用于告诉搜索引擎蜘蛛如何抓取网站页面并将其编入索引。
它通常存储在网站的根目录（也称为主文件夹）中。robots.txt文件的基本花样如下所示：
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
您可以使用多行说明来允许或阻止使用特定的URL及添加多个站点舆图。若是您不阻止URL，则搜索引擎蜘蛛会默认以为其支持爬取。
下面是一个robots.txt文件示例：
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
在上面的robots.txt示例中，我们允许搜索引擎对WordPress上传文件夹中的文件进行爬取和体例索引。
在那之后，我们不允许搜索引擎蜘蛛爬取和索引插件目录和WordPress管理目录。
最后，还提供了XML网站舆图的URL。
WordPress网站是否需要Robots.txt文件？
若是网站没有robots.txt文件，则搜索引擎会抓取您的网站并为其体例索引。然则，您将无法告诉搜索引擎不应该抓取哪些页面或文件夹。
当您第一次确定博客且内容不多时，这不会发生太大影响。
然则，随着网站的生长和内容越来越厚实，您可能希望更好地控制网站的蜘蛛爬取行为和索引方式。
这就是为什么。
搜索引擎蜘蛛对每个网站都有一个爬取配额。
这意味着它们在爬网会话时代对一定数目的页面进行爬网。若是他们还没有完成对您网站上所有页面的爬取，那么他们将返回并在下一个会话中继续爬取。
这可能会降低您的网站索引率。
温馨提醒：你可以通过安装搜索引擎蜘蛛剖析插件来进一步领会各大搜索引擎蜘蛛是如何爬取你的网站。
您可以通过阻止搜索引擎阻止其爬网不需要的页面（如WordPress管理页面，插件文件和主题文件夹）来解决此问题。
通过阻止不需要的页面，可以节约蜘蛛爬取配额。这有助于搜索引擎在您的网站上抓取更多页面，并尽快为其确定索引。
使用robots.txt文件的另一个很好的理由是，当您需要阻止搜索引擎将您网站上的文章或页面编入索引时。
这不是向民众隐藏内容的最平安方式，然则它将辅助您阻止部门内容泛起在搜索效果中。
什么是理想的Robots.txt文件？
许多盛行的博客使用异常简朴的robots.txt文件。它们的内容可能会有所差异，详细取决于特定站点的需求：
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
该robots.txt文件允许所有搜索引擎蜘蛛为所有内容确定索引，并为它们提供网站XML站点舆图的链接。
对于WordPress网站，我们建议在robots.txt文件中使用以下规则：
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
告诉搜索引擎将所有WordPress图像和文件编入索引。同时，不允许搜索引擎将WordPress插件文件，WordPress管理区域，WordPress自述文件和会员链接编入索引。
通过将站点舆图添加到robots.txt文件，您可以使搜索引擎蜘蛛轻松找到您网站上的所有页面。
既然您已经知原理想的robots.txt文件是什么样子，那么让我们看一下如何在WordPress中确定robots.txt文件。
如何确定WordPress网站的Robots.txt？
有两种方式可以在WordPress中确定robots.txt文件。您可以选择最适合您的方式。
方式1：使用Smart SEO Tool来编辑Robots.txt文件
Smart SEO Tool，是我们自主开发的WordPress SEO插件，易于使用，并附带robots.txt文件编辑支持。
若是您尚未安装Smart SEO Tool插件，则需要安装并启用插件。
然后可以直接在WordPress管理后台进入插件设置界面来确定和编辑robots.txt文件。
如何取消WordPress大图自动缩放功能
转到“设置»Smart SEO Tool”，选择robots.txt选项标签。
SEO Tool插件robots设置” src=”https://static.wbolt.com/wp-content/uploads/2021/03/sst-setting-1024×685.png” alt=”Smart SEO Tool插件robots设置” width=”1024″ height=”685″ srcset=”https://static.wbolt.com/wp-content/uploads/2021/03/sst-setting-1024×685.png 1024w, https://static.wbolt.com/wp-content/uploads/2021/03/sst-setting-800×536.png 800w, https://static.wbolt.com/wp-content/uploads/2021/03/sst-setting-400×268.png 400w, https://static.wbolt.com/wp-content/uploads/2021/03/sst-setting-768×514.png 768w, https://static.wbolt.com/wp-content/uploads/2021/03/sst-setting-1536×1028.png 1536w, https://static.wbolt.com/wp-content/uploads/2021/03/sst-setting-2048×1371.png 2048w, https://static.wbolt.com/wp-content/uploads/2021/03/sst-setting-600×402.png 600w” sizes=”(max-width: 768px) calc(100vw – 40px), (max-width: 1200px) 550px, (max-width: 1400px) 730px, 880px”>
首先你需要启用“Robots.txt”，切换为蓝色来打开编辑选项。
启用此选项后，您可以确定自界说robots.txt文件。
插件将会下面显示默认的robots.txt文件，此版本为插件预设的默认规则（当前插件版本不支持删除默认规则，只允许添加新规则）
这些默认规则告诉搜索引擎不要抓取您的焦点WordPress文件，允许蜘蛛为所有内容确定索引，并为它们提供指向网站的XML网站舆图的链接。
现在，您可以添加自己的自界说规则，以改善针对SEO的robots.txt。
要添加规则，可以在默认规则另起行添加，每行一条规则。你可以阅读“深入领会Robots.txt及如何规范地编写”
温馨提醒：当用插件天生管理robots.txt，请确保你的服务器根目录已经删除静态的robots.txt。否则插件所编写的robots.txt是无效的。
完成后，请不要遗忘单击“保留更改”按钮来存储您的更改。
方式2.使用FTP手动编辑Robots.txt文件
对于这种方式，您将需要使用FTP客户端或者宝塔控制面板来编辑robots.txt文件。
只需使用FTP客户端毗邻到您的WordPress网站托管的服务器帐户即可（或者上岸WordPress服务器的宝塔面板）。
进入服务器后，您将可以在网站的根文件夹找到robots.txt文件。
若是没有，则可能没有robots.txt文件。在这种情形下，您需要确定一个。
Robots.txt是纯文本文件，这意味着您可以将其下载到盘算机上，并使用任何纯文本编辑器（如记事本或TextEdit）进行编辑。
保留更改后，将其上传回网站的根文件夹。
如何测试Robots.txt文件？
确定robots.txt文件后，最好使用robots.txt测试工具对其进行测试。
有许多robots.txt测试器工具，但我们建议您使用Google Search Console所提供的。
首先，您需要将网站与Google Search Console链接。
然后，使用Google Search Console蜘蛛测试工具。
只需从下拉列表中选择您的网站。
该工具将自动获取您网站的robots.txt文件，并突出显示错误和忠告（若是发现）。
最后
优化robots.txt文件的目的是防止搜索引擎蜘蛛抓取不公然的页面。例如，您的wp-plugins文件夹中的页面或WordPress admin文件夹中的页面。
部门SEO专家甚至建议，阻止WordPress种别，标签和存档页面将提高爬网率，并导致更快的索引体例和更高的排名。
这不是真的。这也违反了Google网站站长指南。但，若是你的存档页面和标签页面不太主要时，倒真的可以阻止蜘蛛爬取。
我们建议您遵照上述robots.txt花样为您的网站确定robots.txt文件。希望本教程能辅助您学习如何基于SEO优化WordPress网站robots.txt文件。
您可能对WordPress SEO最终指南和最佳WordPress SEO插件感兴趣，以进一步提升您的网站SEO。
如何添加WordPress特色图像或者文章缩略图
