【robots文件的详细写法教程规则】很多建站系统 ， 在建成网站后 ， 都网站根目录 ， 默认有robots.txt协议文件 。 在网站优化竞争日益加剧的今天 ， 原本设立之初无优化因素的robots.txt文件也被最大化使用 ， 掌握其写法 ， 有备无患 。 一：robots.txt […]很多建站系统 ， 在建成网站后 ， 都网站根目录 ， 默认有robots.txt协议文件 。 在网站优化竞争日益加剧的今天 ， 原本设立之初无优化因素的robots.txt文件也被最大化使用 ， 掌握其写法 ， 有备无患 。 一：robots.txt协议文件有什么用？搜索引擎访问一个网站的时候 ， 最先访问的文件就是robots.txt 。 她告诉搜索引擎蜘蛛 ， 哪些网站页面可以被抓取 ， 哪些禁止抓取 。 表面来看 ， 这个功能作用有限 。 从搜索引擎优化的角度来看 ， 可以通过屏蔽页面 ， 达到集中权重的作用 ， 这 ， 也是优化人员最为看重的地方 。 以某seo站点为例 ， 其robots.txt文件如图所示：
文章插图
二：网站设置robots.txt的几个原因 。 1：设置访问权限保护网站安全 。 2：禁止搜索引擎爬取无效页面 ， 集中权值到主要页面 。 三：怎么用标准写法书写协议？有几个概念需掌握 。 User-agent表示定义哪个搜索引擎 ， 如User-agent：Baiduspider ， 定义百度蜘蛛 。 Disallow表示禁止访问 。 Allow表示运行访问 。 通过以上三个命令 ， 可以组合多种写法 ， 允许哪个搜索引擎访问或禁止哪个页面 。 四：robots.txt文件放在那里？此文件需放置在网站的根目录 ， 且对字母大小有限制 ， 文件名必须为小写字母 。 所有的命令第一个字母需大写 ， 其余的小写 。 且命令之后要有一个英文字符空格 。 五：哪些时候需要使用该协议 。 1：无用页面 ， 很多网站都有联系我们 ， 用户协议等页面 ， 这些页面相对于搜索引擎优化来讲 ， 作用不大 ， 此时需要使用Disallow命令禁止这些页面被搜索引擎抓取 。 2：动态页面 ， 企业类型站点屏蔽动态页面 ， 有利于网站安全 。 且多个网址访问同一页面 ， 会造成权重分散 。 因此 ， 一般情况下 ， 屏蔽动态页面 ， 保留静态或伪静态页面 。 3：网站后台页面 ， 网站后台也可以归类于无用页面 ， 禁止收录有百益而无一害 。 来源：robots.txt协议
推荐阅读
- 介绍做公益营销的3种方式 做公益营销的方式有哪些？
- 盘点公益营销的10大案例 公益营销的案例有哪些？
- 推荐广告狂人的10大经典案例 广告狂人的经典广告案例有哪些？
- 分享写网站文案的7种方法 网站的文案该如何写？
- 分享做企业品牌全案策划的4个步骤 企业品牌全案策划该如何做？
- 网站收录提交:网站收录的入口
- 分享制定信息流广告投放的3种策略 信息流广告投放策略该如何制定？
- 推荐广告营销的5大策略 广告营销的策略有哪些？
- 分享广告策划书的4个编写技巧 广告策划书的编写技巧有哪些？
- 宜昌seo:优化网页元素的方法有哪些？