欢迎访问厦门软件开发公司官网

135-1408-4304

lantian0591@qq.com

厦门软件开发公司LOGO

专注

只为创造真实有效的产品价值, 只为成就您想做的一切

Robots的5个好处和Robots的风险及应对办法-厦门软件开发公司

声明:本网站由东莞网站建设网站编辑原创,如果您本文感兴趣,敬请保留文章内部链接,否则,本站将会以侵权进行处理。


1. 一般来说,谷歌和百度的搜索引擎的蜘蛛都是遵循 robots.txt 给出的规则来在你的网站上爬行,robots协议规定搜索引擎进入你网站的入口就是该网站的 robots.txt文件,但有一个前提是该robots.txt文件必须存在。如果你的网站没有定义robots.txt文件,那么会是一个什么情况呢?

显然蜘蛛会被重定向至 404 错误页面,很多seoer的经验,假设你的网站自定义了 404 页面,那么蜘蛛会把其视作 robots.txt,所以从这里可以看出,没有robots.txt文件的网站会给蜘蛛索引网站带来非常大的困扰,从而影响搜索引擎收录你的网站页面内容。



2. robots.txt 第二个好处是可以限止不需要的搜索引掣来你的网站爬行,以缓解服务器的宝贵带宽资源,如邮件服务器、Erp服务器,这类服务对搜索引擎是没有任何意义的;比如淘保网站就用robots限止了蜘蛛的爬行。


3. 如果我的网站有些文件是非公开的,那么我可以用robots.txt做说明,不让搜索引掣来爬行,比如我们网站的后台管理程序,实际上,一些在运行中产生临时页面的网站,假设没有在robots.txt进行说明,搜索引擎都会去索引那些临时文件。


4. 如果你的网站内容,有很多很多的页面,,那么配置 robots.txt 是必须的,原因是很多时候蜘蛛洪水般的访问会给网站造成巨大的压力,假设你不用robots来控制,有可能会造成你的网站拒绝访问。


5.一个网站一般主题是相关的,那么不可避免地会产生很多页面比较相似的内容,对于搜索引掣来说,页面相似度太高,它可能会给你处罚,那么利用robots.txt限制某些页面不补收录就可以很好地帮你解决这个问题。


robots.txt 的风险及应对办法:

1. 任何事情有好的一面也有不好的一面,robots.txt 在给网站带来以上好处的同时也会存在一定的风险:第一就是给那些不怀好意思的攻击者指明了你网站的目录结构和私密数据所在的位置,虽然现在我们的服务器安全提高了好多,但任何事情我们都要做到防范于未然。


比如说,我的网站中的私密数据通过这个地址www.fzrjkf.cn/private/index.html# 访问,在 robots.txt 中的设置我是这么设置的:

User-agent: *

Disallow: /private/

robots.txt文件很明显地指出了你要隐藏的内容在哪里,在浏览器中输入www.fzrjkf.cn/private/# 便可访问我们的私密内容。


那么我们要怎么解决这个问题呢?

a.对/private/目录设置访问权限,比如密码保护。

b.将目录下的默认的主页面更名为如:123-protect.html,与此同进,再设计一个新的index.html 文件,页面内容可以写“不好意思,你没有权限访问此页”。

2. 不小心将robots文件设置错误,可能会导致你已经被收录的数据会被搜索引掣给删除。如:

User-agent: *

Disallow: /

以上两行代码的意思就是不让任何搜索引擎索的蜘蛛来网站收录,更多建站资讯请关注厦门软件开发公司。



相关文章
高端网站建设的3个基本原则-厦门网站建设,高端网站建设,厦门软件开发公司-厦门软件开发公司
网站建设如何提高网站的收录量-厦门软件开发公司
集团网站建设首页布局的特点分析-厦门软件开发公司
网站建设和网站优化之内链建设-厦门软件开发公司
电子/家电/网上购物商城的网站建设-厦门软件开发公司
厦门做网站公司哪家好?厦门做网站最好的公司是哪家?-厦门软件开发公司
熊猫绿色能源集团有限公司响应式网站建设上线发布-厦门软件开发公司
应用H5网站建设技术的优势-厦门软件开发公司
中标:璐克斯集团官方网站升级改版-厦门软件开发公司
厦门网站建设行业做SEM每天的费用多少比较合适?-厦门软件开发公司
恭喜中天安驰网站建设顺利上线-厦门软件开发公司
签约:广景科技有限公司网站建设项目-厦门软件开发公司
商城网站设计应该注意的几点-厦门软件开发公司
7个站点实际排版指南-厦门软件开发公司
企业网站建设一定要有这几个目标-厦门软件开发公司
网站建设内容的规划和布局应该怎么做-厦门软件开发公司
网站建设公司怎样才能发展壮大起来-厦门软件开发公司
厦门软件开发公司厦门网站建设专家告诉您搜索引擎推广的必要性-厦门软件开发公司
对待沉默型客户和健谈型客户需要什么样的技巧-厦门软件开发公司
东哥的跑步鸡,迈创的网站建设-厦门软件开发公司


Contact us

联系我们

一切良好工作的开始,都需相互之间的沟通搭桥

135-1408-4304

lantian0591@qq.com

在线咨询

福建省福州市仓山区浦上大道仓山万达广场C3#16F

厦门软件开发公司

地址:福建省福州市仓山区浦上大道仓山万达广场C3#16F

邮箱:lantian0591@qq.com

电话:135-1408-4304

24小时服务热线

135-1408-4304

Copyright 2019     厦门软件开发    厦门软件公司    厦门软件定制