上海网站建设公司引航科技
百度百科 | 企业微博 | 网站建设 | 网站知识 | 联系我们 
上海网络公司引航科技的微博
[ 2014-06-30 ]
上海晶星影像科技公司官方网站建设项目顺利通过验收
[ 2014-06-25 ]
上海伊尔庚环境工程公司官网设计制作完成并于日前开通上线
[ 2014-06-22 ]
上海领先体育培训网站制作项目通过验收并正式开通
     
 
商务沟通: (企业QQ)4000006881
服务专线: 400-000-6881
售后服务: smile#joyweb.cn
售前咨询: sales#joyweb.cn
  
 
 
网站知识
 
   
 
网站优化适度屏蔽“蜘蛛”有益无害
 
发布时间:2011/6/10

  网站优化做的是使搜索引擎快速索引页面,从而增加权重和访问量。由此站长喜欢蜘蛛将网站爬个遍,吃个透。但是让蜘蛛肆无忌惮的去爬行真的就有益于网站优化吗?很多站长在robots.txt文本中可能除了ADMIN、DATA目录限制蜘蛛爬行,其他目录任蜘蛛索引。上海网站制作公司引航科技认为,做网站优化除了一些安全目录外再应适度屏蔽一些目录,禁止搜索引擎的索引是有益无害的。

  一:图片目录的屏蔽

  图片是构成网站组成的主要元素,然而主题模板中类似的图片在搜索引擎中铺天盖地,搜索引擎一遍遍的索引下去还会进行收录吗?即使收录了,所带的效果也是微乎其微的。一个不错的网站,每天各式各样的蜘蛛加起来来访不下几千次,无疑是浪费了大量的带宽。一般我们常屏蔽的目录为“images/images”。
 
  二:缓存目录的屏蔽

  很多程序都具有缓存目录,拿z-blog这个程序来举例子,它的缓存目录为“CACHE”,其中会有着不少已经生成HTML的缓存文件。如果蜘蛛继续进行索引的话,无疑是造成了重复内容的索引,这对网站是有害无益的。看到不少使用Z-blog的朋友都没有进行设置,可能是没有引起足够的重视吧。当然,其他程序还有这各自不同的缓存目录,针对性的进行屏蔽才最为适宜。

  三:模板目录的屏蔽

  对于程序的模板,大多站长都选择了直接套用而非独立模板。模板的高度重复性也成为了一个搜索引擎中信息的冗余,因此利用Robots.txt来进行模板的屏蔽也是有益无害的。且模板文件常常与生成文件高度相似,同样易造成雷同内容的出现。

  四:CSS目录的屏蔽

  CSS目录,搜索引擎抓取无用,所以我们在设置Robots.txt文件中将其进行屏蔽,以提高搜索引擎的索引质量。为搜索引擎提供一个简洁明了的索引环境更易提升网站友好性。

  五:部分程序的RSS页

  此条只针对存在RSS页的程序来讲,一般博客中比较常见。此页面可以说是一个高度重复的页面,完全有必要进行屏蔽,以增强网站在搜索引擎中的友好性。

  六:屏蔽双页面的内容

  一个可以生成静态页面的网站,一般来说动态页面也是可以访问的。如:“www.XXXX/1.html与www.xxxxx/asp?id=1”,两者若被搜索引擎完全索引,无疑是访问到了完全一致的内容,对搜索引擎友好性来说是有害无益的。而我们屏蔽的往往都是后者,因为前者页面为静态,更易被搜索引擎索引收录。

  七:涉及程序安全页

  在起始位置我们交代了屏蔽ADMIN、DATA目录,防止安全目录与数据库泄露。另外数据库目录、网站日志目录、备份目录都是需要进行屏蔽的,都是可以有效减少“泄密”现象的发生。

  八:屏蔽文件形式

  一些站长总是喜欢将网站备份后方到网站下载后忘记删除,或者根本不做下载,直接保留到服务器。但是大家都知道,网站发展壮大必定受到一些人的窥视,网站一次次的被尝试下在数据库、备份文件,稍微有点名次的网站都会受到类似的攻击。利用robots.txt屏蔽类似“rar、zip”等类似的文件。实质上,这样的屏蔽方式更有益于“第七点”,但是做到的仍然只是局部。

  适度做一下屏蔽蜘蛛的优化不仅可以节省我们服务器的资源,同时也可以增加搜索引擎对网站的友好性,何乐而不为呢?二进制网络携手专业网站制作公司引航科技(www.joyweb.net.cn)认为,robots.txt文件不仅仅是屏蔽安全目录的工具,优化得当更利于网站对搜索引擎的优化。

  本文由网站设计首选品牌引航博景(https://www.joyweb.cn)原创编辑,转发请注明来源及版权归属。
  原文分享地址: http://www.joyweb.net.cn/news.asp?id=1426
 □ 苹果手机999元?电视购物忽悠你没商量
 □ 网站建设与优化:没有自主品牌一样可以接单做生意
 □ 权重不等于排名,有机结合方可相得益彰
 □ 优酷加入百度搜索开放平台
 □ 我国互联网宽带接入数突破1亿
 □ 原创写作:软文不是小广告 外链并非最终归宿
 □ 网站建设选择专业公司更节约网站制作费用
 □ 有价值且用户喜欢的网站才是真正成功的网站
 □ 未来的互联网革命将是“星际互联网”
 □ 网站优化增益接单率:专业素养需提升
关于引航科技 | 网站通知公告 | 网站建设知识 | 网站技术博客 | 网站版权声明 | 网站内容导航
上海网站建设首选品牌,拥有丰富的网站设计及网站制作经验,为中小企业提供优质的网站建设、域名主机、邮局邮箱等互联网信息化产品与服务
地址:上海市金沙江西路1555弄西郊商务区26号楼3层 客户咨询服务热线:400-997-5855 E-mail:smile#joyweb.cn
Copyright 2008-2017 Shanghai eHelm Information Technology Co.,Ltd. All Rights Reserved
沪ICP备06069965号    您是第  10141490 位浏览者
 
客户服务电话

4000006881

在线留言咨询


QQ 即时交谈