1. 首页
  2. 白帽seo

别让网站的robots成为最大的安全漏洞

别让网站的robots成为最大的安全漏洞别让网站的robots成为最大的安全漏洞

 

你的网站信息安全吗?树大招风,一些公司往往再收到攻击之后,才想起网站安全。网站注册的个人信息能被黑客们轻易的拿下,对用户造成的损失无法估量。没有100%安全而完美的系统,黑客们乐此不彼的研究着这些网站的安全漏洞,总有一天会被攻破。

网站根目录下的robots.txt文件告诉搜索引擎的访问范围,使用方法很简单,但是搜索引擎还是个人来说都是可以访问的, 很多新人不知道这个文件的重要性,对于渗透测试人员或黑客,可以通过robots.txt文件发现敏感信息,比如猜测这是什么后台用什么数据库等,意味着自己的网站是真空上阵。

别让网站的robots成为最大的安全漏洞

如何防止别人访问呢?

 

网上有人这么做:在IIS中,选中robots.txt,右键属性里,选中重定向到URL,输入任意一个非本站的URL路径,勾选上面准确的URL以及资源的永久重定向,有点基础的童鞋知道,访问 名/robots.txt 时,是自动跳转到指定的那个非本站URL路径。 这个方法在Apache环境中可以借助.htaccess达到这个重定向的目的。

但是对于蜘蛛来说,这样的跳转意味着站内不存在这个文件,那蜘蛛就不会遵守这个规则,把能发现的URL都抓了。

为防止别人利用robots文件泄露了网站的结构,做其他手脚,站长们是绞尽脑汁。不让搜索引擎来抓这个文件,那就不遵从抓取范围,都会放进索引库,对不想让搜索引擎建立索引的方法参考:页面不让搜索引擎建立索引。

实用的防护措施,推荐采用通配符(*)替换敏感文件或文件夹

 

比如某个重要文件夹为admin,可以这样写robots

 User-agent: Disallow:/a*/

 

意思是禁止所有搜索引擎索引根目录下a开头的目录,一般的网站的比较通用的命名有admin,include,templets,plus等,这些都是重要的文件夹,可以修改文件名,但是其他关联一并修改,否则系统会出错。

用.htaccess禁止垃圾蜘蛛访问

 一搜YisouSpider #无视robots规则 宜搜EasouSpider #无视robots规则 易查 #无视robots规则 MSNmsnbot-media 有道youdao 必应bingbot

 

当然你也要看流量来源,如果有,那就不要屏蔽,实在是少得很有每天很勤快的来访的话,可以屏蔽。

robots屏蔽蜘蛛

 User-agent: YisouSpider Disallow: / User-agent: EasouSpider Disallow: / User-agent: msnbot-media Disallow: / User-agent: YoudaoBot Disallow: / User-agent: bingbot Disallow: /

 

.htaccess屏蔽蜘蛛

 SetEnvIfNoCase User-Agent ^Yisou bad_bot SetEnvIfNoCase User-Agent ^Easou bad_bot SetEnvIfNoCase User-Agent ^Youdao bad_bot SetEnvIfNoCase User-Agent ^msn bad_bot Deny from env=bad_bot

 

或者如下写法,中间加就行了

 RewriteCond %{HTTP_USER_AGENT} (jikeSpidereasouSpiderYisouSpiderbingbotYoudaoBot) [NC]

 

END
原创文章,作者:moss,如若转载,请注明出处:https://www.heoseo.com/bmseo/14693.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

在线咨询:

邮件:986522615@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息