网址导航网首页

嗨,欢迎来到25Qi网址导航

站长QQ:2598903095

SEO学习

robots协议文件如何规范书写?新手SEO网站优化编写robots协议常见错误方式

时间:2021-10-31 丨 作者:SEO学习网站 丨 关键词:robots
robots.txt协议文件看似非常简单的一个文件,但是其格式规范要求相当严格,一旦写错就会失效,打个比方,一把配错的钥匙,已经不能正确打开指定的房间号了,相当于一个废品,所以对于所有的搜索引擎而言,这个robots协议文件已经不起作用了,因此对于新手而言,如何正确规范的编写Robots协议很重要。
 
在此之前,我们已经给大家讲解了robots协议语法,这个是非常重要的一部分内容,大家一定要记住,当然如果不记得了,可以查看文档,下面我们将给大家讲解详细的robots编写规范。


 robots协议

1 robots核心规范实例

 
一般来讲,robots它有一套标准的语句构成,大家只要遵循这项规范写法,一般不会错,注意大小写,这是非常容易出错的。
 
首先我们在开头的第一句就是我们的用户代理:
 
User-agent:
 
注意User的首字母要大写,否则无效。
 
第二个语法段就开始写我们的文件权限。
Disallow:
Allow:
 
注意开头用大写字母。
 
合起来就是像下面这样:
 
User-agent:你希望的搜索引擎程序名称
Disallow: 文件
Allow:文件
 
 

2 常见robots.txt协议编写方式

 

1)Allow允许文件类型

 
假如以百度为例,允许百度抓取则可以像以下例子编写。
 
User-agent: Baiduspider
Allow: /
 
注意字段用冒号并且空格之后写文件目录。
 
比如我们允许搜索引擎对某目录下所有文件进行抓取,可以这么写:
 
Allow: /SEOyh/*
 
比如你的网站有动态网址,我们可以这样设置:
 
Allow: /*?*
 
这样基本可以全部抓取你网站的动态网址,因为有些网站就是以动态网址为主。
 

2)Disallow不允许字段

 
这个用的比较多,通常写法也比较多,一下将会列举常见的写法,让大家更深入的了解这其中的原理。
 
限制某个目录,我们可以这样写
 
Disallow: /baidu/
 
限制某个文件,我们可以这样写:
 
Disallow: /baidu.php
 
限制某个目录下所有文件,我们可以这样写:
 
Disallow: / baidu /*
 
禁止抓取图片,我们可以这样写:
 
Disallow: / baidu /*.jpg
 
禁止抓取特定图片类型,我们可以这样写
 
Disallow: / baidu /*.gif或者Disallow: / baidu /*.gif$
 
依次类推,我们对所有的文件和目录都可以这么写。
 

3)sitemap字段

 
这个比较特殊,所以拿出单独讲,这个主要针对sitemap文件的抓取,给予优先权。编写格式如下:
Sitemap: http://www.seojingxue.com/sitemap.XML
 
或者
 
Sitemap: http://www.seojingxue.com/sitemap.txt
 
 

3 robots搜索引擎程序限制问题

 
如果你不想某些搜索引擎蜘蛛来抓取你的网站,你可以这样编写:
 
User-agent: Googlebot(谷歌)
Disallow: /
 
User-agent: Baiduspider (百度)
Disallow: /
 
User-agent: baiduspider (百度)
Disallow: /
 
注意,蜘蛛程序命名方式也是区分大小写的,如果不太确定,可以写两个,以防万一。
 
 

4  常见robots错误编写方式

 
1)字段大小写不分。很多新手在编写该协议的时候,往往是不记得是大写还是小写,所以如果不记得了,应该马上查资料。
 
2)单词拼写错误。别看几个单词,很多新手不写上几遍是记不住的,特别是对英文不敏感的伙伴,这个需要加强记忆。
 
3)目录文件大小写不分。这个很重要,相当于你的网址一样,也是区分大小写的,除非你在输出的时候进行转换,才有可能避免出现死链。举个简单的例子,/dog目录下,这个是非常有意思的一个例子。
 
/dog:匹配以 /dog 开头的任何路径。
/dog*:等同于 /dog。结尾的通配符会被忽略。
事实上这个也可以看做目录,也可以看做一个文档,它可以匹配如下文档:
 
 
    /dog
    /dog.html
    /dog/dog.html
    /dogheads
    /dogheads/yummy.html
/dog.php?id=anything
 
 
但是不能匹配如下操作:
 
    /Dog.asp
    /reddog
    /?id=dog
    /green/zili
 
 
另外,/dog/也有必要将一下:
 
这个/dog/的意思是匹配 /fish/ 文件夹中的任何内容。
 
该目录可以匹配如下:
 
    /dog/
    /animals/dog/
    /fish/?id=anything
    /fish/salmon.htm
 
 
不能匹配如下目录文档:
 
 
    / dog
    / dog.html
    / Dog /Salmon.asp
 
 
基本上robot的编写方式就如上所言,大家只需根据自己的网站进行编写即可,一些容易错的地方一定要注意。
 
在线随机小姐姐图片换一批
最新收录
  • 黄飞鸿热炙理疗

    黄飞鸿热灸馆加盟项目,整店输出模式,专业热灸加盟技术培训,一个专业做中医养生的连锁品牌。源自黄飞鸿的嫡孙继承了黄飞鸿先生的遗志,多年来一直坚定不移地致力于大健康产业,并创立了黄飞鸿热灸馆;主要业务服务有黄飞鸿热炙理疗,黄飞鸿热炙理疗馆加盟,黄飞鸿理疗馆,黄飞鸿热灸,黄飞鸿养生馆加盟,黄飞鸿养生馆加盟,黄飞鸿热灸馆,黄飞鸿热灸体验馆,黄飞鸿热灸馆加盟,黄飞鸿热灸理疗馆,黄飞鸿热灸膏

  • tp钱包

    TokenPocket钱包支持数字资产存储。每天走势掌握,功能强大,在线管理数字货币,超多币种推送,多种交易方式,私钥用户自持且轻便易用的以太坊轻钱包。tp支持多资产类型,如:TokenPocket、ETH、QTUM、AE、BTM等大多数主流币种,让tp钱包更好地融入你的生活。

  • 浙江丰安齿轮股份有限公司

    浙江丰安齿轮股份有限公司成立于1999年1月,是一家集开发、设计、制造、销售服务为一体的齿轮专业制造商,占地面积93亩,总资产3亿余元,主要设备400余台。公司于2017年1月在“新三板”挂牌,股票代码870508。公司以精湛的技术、过硬的品质、优良的服务来赢得客户满意,努力打造业界一流齿轮制造企业。

  • 浙江中孚环境设备股份有限公司

    我公司系高新技术企业,专业从事空气净化的产品生产、工程服务及洁净技术的应用与研究,提供从空调处理设备、空调自动控制系统到洁净室系统全面服务,为各类工业用空气处理提供一揽子解决方案及交钥匙工程。   产品遍及全国几十个省市,并出口至巴基斯坦、伊朗等国家。我公司在化纤工艺空调领域精耕细作20余年,2001年进入医药、电子等行业的净化空调设备。   本公司拥有雄厚的技术力量和良好的售后服务,承接系统设计、技术咨询、产品制造、技术改造等项目。设备采用工业计算机、可编程序(PLC)控制器、数字直接控制器(DDC)等智能控制器,可实现节能显著的运行系统(节能策略有:新回风的焓值控制、二次回风、送风机的变频调速;非露点控制方案在过渡季节节能50%。在化纤纺丝行业采用的节能措施,同样可在医药行业的净化空调上使用);采用与国际惯例接轨的CAD设计和质量保证体系。

  • 江苏双友智能装备科技股份有限公司

    双友科技为客户提供直缝埋弧焊管生产线、直缝高频焊管生产线、螺旋埋弧焊管生产线、钢管内外防腐生产线,石油套管生产线,热处理生产线以及其他系列产品。同时公司致力于为高端铝业服务,为客户提供更为高效,节能,环保,安全的铸铝生产线及其相关设备。公司积极推进国际化发展战略,逐步实现品牌、市场、团队、技术、管理与国际化标准接轨。此外,公司与众多国际知名管材和铝材生产商建立了紧密的合作关系,在中东设立了海外分支机构。双友科技旨在将中国的高端制造带给世界。

  • 南京三超新材料股份有限公司

    南京三超新材料股份有限公司成立于1999年1月,注册资本9360万元,2017年4月21日,在深圳创业板成功挂牌上市。占地面积130亩,建筑面积约86,000平方米。是一家专业从事金刚石、立方氮化硼工具的研发、生产与销售的高新技术企业,现拥有金刚石砂轮和金刚石线两大类相互协同的产品系列,应用于硅、蓝宝石、石英、铁氧体、钕铁硼、陶瓷、玻璃、硬质合金等硬脆材料的精密切割、磨削与抛光。 公司自成立以来,始终坚持"以人为本、技术优先"的发展理念,先后引入多名外籍专家,并在日本成立了超硬材料工具的专业研发机构。经过多年研发,公司成为国内最早通过自主研发掌握金刚线制造的相关技术,成功实现产业化的企业之一,并且打破了国外企业的技术垄断,与新研发成功的硅片背面减薄砂轮、硅片倒角砂轮、PAD修整器等产品,为半导体及太阳能光伏行业提供了优质的金刚石工具,并凭借良好的品质与高性价比,赢得了众多实力用户认可,在国内形成了较高的行业影响力。