WordPress网站如何建立robots.txt文件,robots.txt文件中的“Disallow”命令与页面头部的元描述noindex 的作用不相同,使用robots.txt禁止规则阻止您的网站页面进行搜索索引,理想的robots.txt不应该禁止任何东西.
WordPress博客程序robots.txt文件中的“Disallow”命令与“noindex”作用是完全不相同的，robots.txt文件可以阻止搜索引擎抓取网站页面，但不一定可以阻止网站页面索引，但将图片和文档素材排除在外。
所以很多程序不再使用robots.txt文件规则禁止网站页面进行搜索索引，而是使用noindex标记，有助于搜索引擎可以正确分发你的网站内容。
建议保持robots.txt干净 ，不要阻止包括以下任何内容：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
WordPress官方也表示说robots.txt文件不应该禁止网站被搜索索引，/wp-content/plugins/和/wp-includes/目录中包含网站主题和插件所需要显示的图像、js文件及css文件，阻止这些目录被搜索索引意味着主题和插件图片、JS文件、CSS文件将被阻止，导致不能正常显示，使得搜索引擎将难以分析和理解你网站的内容，所以，如果你的网站程序为WordPress，大兵建议不要阻止/wp-content/themes/和/wp-includes/程序目录。
简单地讲，虽然禁止WordPress上传和插件目录，可以提高网站的安全性，防止网站被黑客攻击，但实际的作用却是弊大于利的，特别是在网站优化方面。
以上就是大兵建议删除robots.txt文件中禁止搜索索引规则的原因，同时大兵也建议大家卸载WordPress程序的不安全插件。
大兵强烈建议大家手动将XML站点地图文件提交给搜索引擎站长平台，同时也建议大家将网站XML地图文件添加到robots.txt文件中，可以帮助搜索引擎快速抓取网站页面。
Sitemap: https://www.zhuzhouren.cn/sitemap.xml
Sitemap: https://www.zhuzhouren.cn/sitemap.html
为了WordPress网站安全，大兵建议大家阻止WordPress程序的readme.html、licence.txt和wp-config-sample.php目录文件的抓取，避免未授权人员查看你WordPress网站程序版本。
User-agent: *
Disallow: /readme.html
Disallow: /licence.txt
Disallow: /wp-config-sample.php
还可使用robots.txt文件针对不同搜索引擎设置出不同robots规则，如下所示：
# block Googlebot from crawling the entire website
User-agent: Googlebot
Disallow: /
# block Bingbot from crawling refer directory
User-agent: Bingbot
Disallow: /refer/
禁止搜索蜘蛛抓取WordPress网站页面，大兵建议大家可以加入以下robots规则。
User-agent: *
Disallow: /?s=
Disallow: /search/
host＆Crawl-delay是您考虑使用其它的robots.txt文件指令，虽然这个用的比较少，第一指令的意思是允许你指定网站首选域名（www或非www域名）。
User-agent: *
#we prefer non-www domain
host: yourdomain.com
以下robots.txt文件规则是用于告诉搜索蜘蛛在每次抓取网站页面之前需待几秒钟。
User-agent: *
#please wait for 8 seconds before the next crawl
crawl-delay: 8
根据以上的讲解，我们可将网站robots.txt文件内容编写如下：
User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /readme.html
Disallow: /licence.txt
Disallow: /wp-config-sample.php
Disallow: /refer/
Disallow: /?s=
Disallow: /search/
#we prefer non-www domain（填入你的网站域名首选域名，一般带www，请根据实际情况填写，部分搜索引擎不支持此规则，慎重添加）
host: yourdomain.com
#please wait for 8 seconds before the next crawl（填入你希望爬虫爬取页面的延迟秒数）
crawl-delay: 8
Sitemap: https://www.zhuzhouren.cn/sitemap.xml
注意：以上WordPress网站完整的robots.txt文件规则仅供参考，大家可以根据自己网站实际情况再完善编写，User-agent: *规则可适用于所有搜索引擎，Allow: 规则代表的意思是允许搜索蜘蛛抓取，Disallow:则代表不允许搜索蜘蛛抓取，host:规则用于指定网站首选域名，crawl-delay:规则则是用于规定搜索蜘蛛抓取的时间间隔，Sitemap:用于指定网站地图文件。
黄飞鸿热炙理疗黄飞鸿热灸馆加盟项目,整店输出模式,专业热灸加盟技术培训,一个专业做中医养生的连锁品牌。源自黄飞鸿的嫡孙继承了黄飞鸿先生的遗志，多年来一直坚定不移地致力于大健康产业，并创立了黄飞鸿热灸馆；主要业务服务有黄飞鸿热炙理疗,黄飞鸿热炙理疗馆加盟,黄飞鸿理疗馆,黄飞鸿热灸,黄飞鸿养生馆加盟,黄飞鸿养生馆加盟,黄飞鸿热灸馆,黄飞鸿热灸体验馆,黄飞鸿热灸馆加盟,黄飞鸿热灸理疗馆,黄飞鸿热灸膏
tp钱包TokenPocket钱包支持数字资产存储。每天走势掌握，功能强大，在线管理数字货币，超多币种推送，多种交易方式，私钥用户自持且轻便易用的以太坊轻钱包。tp支持多资产类型，如：TokenPocket、ETH、QTUM、AE、BTM等大多数主流币种，让tp钱包更好地融入你的生活。
浙江丰安齿轮股份有限公司浙江丰安齿轮股份有限公司成立于1999年1月，是一家集开发、设计、制造、销售服务为一体的齿轮专业制造商，占地面积93亩，总资产3亿余元，主要设备400余台。公司于2017年1月在“新三板”挂牌，股票代码870508。公司以精湛的技术、过硬的品质、优良的服务来赢得客户满意，努力打造业界一流齿轮制造企业。
浙江中孚环境设备股份有限公司我公司系高新技术企业，专业从事空气净化的产品生产、工程服务及洁净技术的应用与研究，提供从空调处理设备、空调自动控制系统到洁净室系统全面服务，为各类工业用空气处理提供一揽子解决方案及交钥匙工程。 产品遍及全国几十个省市，并出口至巴基斯坦、伊朗等国家。我公司在化纤工艺空调领域精耕细作20余年，2001年进入医药、电子等行业的净化空调设备。 本公司拥有雄厚的技术力量和良好的售后服务，承接系统设计、技术咨询、产品制造、技术改造等项目。设备采用工业计算机、可编程序（PLC）控制器、数字直接控制器（DDC）等智能控制器，可实现节能显著的运行系统（节能策略有：新回风的焓值控制、二次回风、送风机的变频调速；非露点控制方案在过渡季节节能50%。在化纤纺丝行业采用的节能措施，同样可在医药行业的净化空调上使用）；采用与国际惯例接轨的CAD设计和质量保证体系。
江苏双友智能装备科技股份有限公司双友科技为客户提供直缝埋弧焊管生产线、直缝高频焊管生产线、螺旋埋弧焊管生产线、钢管内外防腐生产线，石油套管生产线，热处理生产线以及其他系列产品。同时公司致力于为高端铝业服务，为客户提供更为高效，节能，环保，安全的铸铝生产线及其相关设备。公司积极推进国际化发展战略，逐步实现品牌、市场、团队、技术、管理与国际化标准接轨。此外，公司与众多国际知名管材和铝材生产商建立了紧密的合作关系，在中东设立了海外分支机构。双友科技旨在将中国的高端制造带给世界。
南京三超新材料股份有限公司南京三超新材料股份有限公司成立于1999年1月，注册资本9360万元，2017年4月21日，在深圳创业板成功挂牌上市。占地面积130亩，建筑面积约86,000平方米。是一家专业从事金刚石、立方氮化硼工具的研发、生产与销售的高新技术企业，现拥有金刚石砂轮和金刚石线两大类相互协同的产品系列，应用于硅、蓝宝石、石英、铁氧体、钕铁硼、陶瓷、玻璃、硬质合金等硬脆材料的精密切割、磨削与抛光。 公司自成立以来，始终坚持＂以人为本、技术优先＂的发展理念，先后引入多名外籍专家，并在日本成立了超硬材料工具的专业研发机构。经过多年研发，公司成为国内最早通过自主研发掌握金刚线制造的相关技术，成功实现产业化的企业之一，并且打破了国外企业的技术垄断，与新研发成功的硅片背面减薄砂轮、硅片倒角砂轮、PAD修整器等产品，为半导体及太阳能光伏行业提供了优质的金刚石工具，并凭借良好的品质与高性价比，赢得了众多实力用户认可，在国内形成了较高的行业影响力。
