浅谈如何巧妙利用robots文件加强主要页面的权重
发布人:一全科技 来源:www.51rc.com 发布于:2011-01-25 23:06:27 浏览:935

辽宁12选5走势图表 www.jc1o.cn Robots文件是搜索引擎访问网站时第一个要读取的文件,它告诉搜索程序服务器上哪些内容可以抓取,哪些不用抓取。

目前网站的robots文件里面的抓取规则已经日趋完善,比如禁止了网页中图片的抓取,禁止蜘蛛抓取一些会员隐私(个人简历)页面、一些无用页面(之前的推广页面)、样式表文件等,但是仍然有部分页面并不需要蜘蛛程序的抓取,这部分页面只是面向用户的,搜索引擎抓取了并没有什么意义,瓜分了页面的权重。

一、网站的404页面

每个网站都存在一些错误页面,404页面的存在就是为了当用户访问了错误页面的时候能够将用户引导到正确的页面上,防止网站流量的流失。而一个页面较多的网站肯定存在很多的错误页面,这就导致存在很多相似的404页面,如下图所示:

所以,一旦404页面太多,而还让搜索引擎去收录,就会导致网站把权重分给这些404页面,所以应该屏蔽404页面。

添加规则:Disallow:/404.html

二、网站部分导航页面

网站底部的一些导航页面,如“市场合作”“网站声明”“付费方式”等都是针对客户的页面,几乎没有用户通过搜索引擎上搜索这些页面并到达网站,而且这些导航页面是全站显示的,所有的内容页面都存在,同样的也要分散这些页面的权重。

这部分页面都是位于同一目录/main下,该目录下除保留部分页面需蜘蛛进行抓取外,其他页面可以都禁止,保留页面为:“关于我们”(main/aboutus.asp),友情链接(main/friendlink.asp)。此外“资费标准”“付费方式”页面位于企业会员中心页面,这些页面也没有必要对搜索引擎开放。

添加规则:

Allow:/main/aboutus*

Allow:/main/friendlink*

Allow:/main/recruitmeeting*

Allow:/main/investigation*

Disallow:/main/

Disallow:/company/companyapplymember*

将现有规则中最后一条删除:disallow: /main/refuse*

将新添加的两条“Allow”规则放到disallow命令的前面。

通过一些对搜索引擎抓取意义不大的页面,将首页和一些内容页面的权重更加集中。

版权所有:伍亿人才招聘网//www.51rc.com,转载请注明出处。

  • 为什么说一直辛苦劳作的农民没有富起来?而不说一直勤劳的农民没有富起来? 2019-06-15
  • 刘红:关注乳腺健康 做好体检预防工作 2019-06-11
  • 中国伊斯兰教协会“四进”清真寺活动启动 2019-06-05
  • 我国社会组织正成为全球治理体系中的新生力量 2019-06-05
  • 林肯全新Navigator领航员正式上市 售112.80万元起 2019-05-27
  • “川商走进新经济”第一场活动落幕 2019-05-14
  • 还加上制裁伊朗引起价格飙升的石油战 2019-05-14
  • 青海:52个客运站卫生间将全面改造 2019-05-12
  • 依规治党和依法治国结合的典范 2019-05-12
  • 内蒙古水利厅厅长付万惠接受纪律审查和监察调查 2019-05-11
  • 传销就是利用这种劣根性。 2019-05-08
  • 女性之声——全国妇联 2019-04-22
  • 不忘初心继续前进——七集政论专题片 2019-04-21
  • 百姓故事:摔跤吧!女孩 2019-04-16
  • 一条塔里木河 串起南疆各色景致与无限风光 2019-04-16
  • 2元网七星彩走势图 急速赛车手在线观看 白小姐点金彩图 历史六合图库 七里彩1983期规律 2元彩票大乐透走势图连线 福建11选5走势图彩经网 pc28加拿大统计久旺 二肖中特精准资料34期 七星彩中国体彩网 湖南快乐十分实时开奖结果 安徽十一选五走势图 中彩网七星彩走势图 上海快三彩票是真的吗 曾道人传真一句诗