如何编写和优化WordPress网站的Robots.txt
要了解WordPress robots.txt文件中的“Disallow”指令与网页页面头顶部的元叙述noindex 的功效不完全一致。您的robots.txt会阻拦爬取，但不一定不开展数据库索引，网址文档（如照片和文本文档）以外。假如百度搜索引擎从别的地区连接，他们依然能够 数据库索引您的“不允许抓取”的网页页面SEO优化。
深入了解Robots.txt及如何规范地编写
关于Robots.txt，相信大部分WordPress站长对其都不会感到陌生，一个规范的Robots.txt对于WordPress网站SEO优化来说至关重要。该文件主要用于告诉搜索引擎爬虫，网站哪些页面可以爬取，哪些页面不可以。
