要了解WordPress robots.txt文件中的“Disallow”指令与网页页面头顶部的元叙述
的功效不完全一致。您的robots.txt会阻拦爬取，但不一定不开展数据库索引，网站文档（如照片和文本文档）以外。假如百度搜索引擎从别的地区连接，他们依然能够 数据库索引您的“不允许抓取”的网页页面SEO优化。
因而，Prevent Direct Access Gold已不应用robots.txt严禁标准阻拦您的网页页面开展检索数据库索引。反过来，大家应用
元标识，这也有利于Google和别的百度搜索引擎恰当地在您的网站上为您的内容分发其入站连接值。
Yoast提议维持robots.txt整洁 ，不必阻拦包含下列一切內容：
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-content/plugins/ Disallow: /wp-includes/
WordPress也愿意说理想化的robots.txt 不应该严禁任何东西。实际上，
和
文件目录包括您的主题风格和软件很有可能用以恰当显示信息您的网站的图象，JavaScript或CSS文档。阻拦这种文件目录代表着软件和WordPress的全部脚本制作，款式和图象被阻拦，这促使Google和别的百度搜索引擎的爬取专用工具无法剖析和了解您的网站内容。一样，你也不应该阻拦你
。
简单点来说，严禁你的WordPress資源，提交和软件文件目录，很多人宣称能够 提高你的网站的安全系数，避免一切总体目标易受攻击的软件被运用，但事实上很有可能大于利，特别是在SEO层面。或是，您应当卸载掉这种不安全的软件更具体些。
这就是我们默认设置从robots.txt中删掉这种标准的缘故。可是，您很有可能仍期待将他们包括在WordPress的Robots.txt内。
提议包括Sitemap文件
虽然Yoast强烈要求您立即手动式将XML站点递交到Google Search Console和Bing系统管理员专用工具，但您仍可将
加上到robots.txt，协助百度搜索引擎迅速抓取百度收录你的网页页面。
Sitemap: http://yourdomain.com/post-sitemap.xml Sitemap: http://yourdomain.com/page-sitemap.xml Sitemap: http://yourdomain.com/author-sitemap.xml Sitemap: http://yourdomain.com/offers-sitemap.xml
Robots.txt的别的标准
出自于安全性，建议阻拦您的WordPress的readme.html，licence.txt和wp-config-sample.php文件浏览，便于没经受权的工作人员没法查验并查询您已经应用的WordPress版本号。
User-agent: * Disallow: /readme.html Disallow: /licence.txt Disallow: /wp-config-sample.php
您还能够应用robots.txt对不一样的百度搜索引擎网络爬虫订制不一样的抓取标准，以下实例。
# block Googlebot from crawling the entire website User-agent: Googlebot Disallow: / # block Bingbot from crawling refer directory User-agent: Bingbot Disallow: /refer/
它是怎样阻拦搜索引擎蜘蛛爬取WordPress百度搜索，强烈要求添加此标准：
User-agent: * Disallow: /?s= Disallow: /search/
＆
是您很有可能考虑到应用的别的robots.txt命令，虽然不太火爆。第一个命令容许您特定网站的首选域（www或者非www）：
User-agent: * #we prefer non-www domain host: yourdomain.com
下边的标准是用于告知百度搜索引擎搜索引擎蜘蛛在每一次爬取以前等候几秒。
User-agent: * #please wait for 8 seconds before the next crawl crawl-delay: 8
详细的robots.txt
总的来说，大家提议WordPress的robots.txt內容撰写为：
User-agent: * Allow: /wp-admin/admin-ajax.php Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /readme.html Disallow: /licence.txt Disallow: /wp-config-sample.php Disallow: /refer/ Disallow: /?s= Disallow: /search/ #we prefer non-www domain（填写你的域名优选网站域名，一般带www，请依据具体情况填好，一部分百度搜索引擎不兼容此标准，谨慎加上） host: yourdomain.com #please wait for 8 seconds before the next crawl（填写你期待网络爬虫抓取网页页面的延迟时间分秒） crawl-delay: 8 Sitemap: http://yourdomain.com/post-sitemap.xml
温馨提醒：所述详细的robots.txt仅作参考，请诸位网站站长依据自身的具体情况撰写內容，在其中User-agent: *标准即对全部百度搜索引擎搜索引擎蜘蛛通用性；Allow: 标准即容许抓取；Disallow: 标准即不允许抓取；host:标准用以特定网站首选域；crawl-delay:标准用以设置网络爬虫抓取间隔时间；Sitemap:标准用以设置网站的地形图详细地址。
这篇內容素材图片来源于【雷电博】侵权行为删！
