上海网站建设公司引航科技
百度百科 | 企业微博 | 网站建设 | 网站知识 | 联系我们 
上海网络公司引航科技的微博
[ 2014-06-30 ]
上海晶星影像科技公司官方网站建设项目顺利通过验收
[ 2014-06-25 ]
上海伊尔庚环境工程公司官网设计制作完成并于日前开通上线
[ 2014-06-22 ]
上海领先体育培训网站制作项目通过验收并正式开通
     
 
商务沟通: (企业QQ)4000006881
服务专线: 400-000-6881
售后服务: smile#joyweb.cn
售前咨询: sales#joyweb.cn
  
 
 
网站知识
 
   
 
优化Robots.txt:扬己之长避己之短
 
发布时间:2011/5/26

  Robots.txt文件是一个简单的TXT文本,但是专注网站建设及网站优化的Seoer们都清楚它的重要性,它的存在可以将不希望搜索引擎抓取的页面屏蔽起来,也可以像是一张地图一样为蜘蛛引路指航。当蜘蛛爬行到一个站点时,首先访问的便是是否存在Robots.txt文件,然后按照内容中的指引来进行索引访问,如果文件不存在的话那么就按照页面中的链接进行顺序的访问。因此我们可以利用它来屏蔽一些不需要搜索引擎要索引的目录,或者将网站地图在Robots.txt中描述引导蜘蛛爬行,这样对于网站安全性上或者节省服务器带宽以及引导索引都是非常给力的,可以说是达到了扬己之长避己之短的效果,以下我们做以具体分析:

  一、利用Robots.txt节省服务器带宽

  一般来说站长很少去做这样一个设置,然而当服务器访问量大内容过于多的话就有必要做一个设置来节省服务器的带宽,如屏蔽:image这样的文件夹,对于搜索引擎索引来说没有什么实际性的意义还浪费了大量的带宽。如果对于一个图片网站来说,消耗更是惊人的,所以利用Robots.txt可以充分解决这一点。

  二、保护网站安全目录

  一般来说在设置Robots.txt时都要把管理目录以及数据库、备份目录设置进去,进制蜘蛛的爬行,否则容易造成数据的泄露影响网站的安全。当然还有一些管理员不希望蜘蛛索引的其他目录,同样可以将其进行设置,这样来说搜索引擎就可以严格的遵守这个规则来进行索引。

  三、禁止搜索引擎索引页面

  一个网站总有一些不希望公众看到的页面,这个时候我们可以用Robots.txt来进行设置,避免蜘蛛对其索引,如前段日子笔者网速比较慢结果更新了一篇文章,导致连续重复发布了3次,结果全部被搜索引擎索引,怎么办呢?重复的内容必然对网站优化是不好的,这时候便可以通过设置Robots.txt来将多余的页面屏蔽掉。

  四、Robots.txt链接网站地图

  由于蜘蛛访问网站首先查看的便是Robots.txt这个文件,那么我们可以将网站地图设置进去,更有利于蜘蛛索引最新的信息,而少走许多冤枉路。如显示专业网站建设公司引航科技的地图页:https://www.joyweb.cn/ sitemap.xml这样加到Robots.txt中更是有利于搜索引擎的索引。也不用每天麻烦的到搜索引擎提交地图文件,不是很简便吗?

  五、写法及注意事项

  对于Robots.txt写法一定要规范,写法上疏忽不注意的人并不在少数。首先来说:User-agent:*是必须要写的,*表示针对所有搜索引擎。Disallow:(文件目录)不包括括号,表示禁止搜索引擎索引的意思,一下举个例子具体说明:

    示例1:
  User-agent:*
    Disallow:/
    表示禁止任何搜索引擎索引访问,

    示例2:

    User-agent:*
    Disallow:/seebk
    表示禁止搜索引擎索引访问seebk目录

    示例3:

  User-agent:baiduspider
  User-agent:*
  Disallow:/

    表示只允许百度蜘蛛堆砌索引访问:百度:baiduspider,谷歌:googlebot,搜搜:sosospider,alexa:ia_archiver,雅虎:Yahoo Slurp
    示例4:

    User-agent:*
    Disallow:.jpg$

    防止盗链jpg图片,如果你的带宽足够的话可以不设置。

    后语:优化Robots.txt扬己之长避己之短,做好Robots.txt更易网站顺畅优化发展,本文二进制网络原创撰写!

  本文由上海网站建设公司首选品牌引航博景(https://www.joyweb.cn)原创编辑,转发请注明来源及版权归属。
  原文分享地址: http://www.joyweb.net.cn/news.asp?id=1375
 □ 微软Bing超越雅虎是个误会
 □ 不同类型公司网站建设制作周期差异揭秘
 □ 网站建设前期规划比后期执行更重要
 □ 网易微博上线测试
 □ 网络安全是大患:网购安全更需加强自身“意识”
 □ 马云拟斥资3亿美元并购互联网公司
 □ 互联网时代,新三十六行悄然兴起
 □ 网站建设优化之收录数量提升方法探析
 □ 互联网赢销第二步:软文助力品牌传播成趋势
 □ 新疆7.5事件导致的互联网管制逐步放开
关于引航科技 | 网站通知公告 | 网站建设知识 | 网站技术博客 | 网站版权声明 | 网站内容导航
上海网站建设首选品牌,拥有丰富的网站设计及网站制作经验,为中小企业提供优质的网站建设、域名主机、邮局邮箱等互联网信息化产品与服务
地址:上海市金沙江西路1555弄西郊商务区26号楼3层 客户咨询服务热线:400-997-5855 E-mail:smile#joyweb.cn
Copyright 2008-2017 Shanghai eHelm Information Technology Co.,Ltd. All Rights Reserved
沪ICP备06069965号    您是第  10146912 位浏览者
 
客户服务电话

4000006881

在线留言咨询


QQ 即时交谈