Web管理员留意:Robots.txt可泄漏有价值的信息给黑客
Web系统管理员需求留意了,robots.txt文件可以告知攻击者方针的有价值信息,由于这些txt文件指向具有者企图维护的目录。
Robots.txt文件会告知搜索引擎,Web服务器上的哪些目录可以读,哪些不能读。这些文件会泄漏管理员存储灵敏信息的方位,由于在robots.txt中说到的目录很明显便是文件所有者想要躲藏的目录。不仅是那些约束拜访的途径,还有服务器上布置的技能。
有点像捂着口袋走路的行人,无疑是在告知小偷钱放在哪里。
从防御者的视点来看,有两种常见的错误认识。一是robots.txt仅仅一种拜访操控机制;二是该文件的内容不能被人工读取,只能被搜索引擎读取。
许多网站往往把一些有用的信息放在robot文本文档里的disallow列表中,原意是为了掩盖这些财物。但关于浸透测验人员或黑客而言,则可经过robots.txt文件更快地发现灵敏信息。
加拿大的浸透测验人员Thiebauld Weksteen以为,“在浸透测验的查询阶段,测验者通常会运用一系列已知的子目录暴力破解服务器,搜索躲藏的资源。依据特定网页技能的状况,这一进程需求根据固定距离进行改写。”
而目录的制止拜访机制会告知攻击者有哪些高价值的信息是应当寻觅的。此外,假如这一点关于一家网站可行,那么很有或许也适用于另一家网站。
Weksteen对安全从业人员供给了他个人的主张,告知人们怎么搜集子目录列表,并介绍了整理、验证开始很大的数据集的办法。只需求100行脚本代码就可以做到这种勘探功用,但经过优化算法,可以进一步增进功率。
比方,以色列议会网站上的robots文件中就直接包含了1万个左右的未分类文件,经过它们可以直接发现灵敏数据。另一个比如是美国国务院,尽管它将搜索关键词生成的未分类财物的字符串进行了屏蔽,但仍是可以经过时光倒流网站,The Internet Archive进行拜访。
有人使用Weksteen所说的办法,发现了一个或许被盯梢的女学生的身份。robot文本文件中的不允许拜访索引指出了一个图像文件,文件的描述暴露了她的姓名。
两个防护办法:
管理员最好经过一般条件来引证文件,而不是经过绝对途径;
更具立异性的作法是在robot不允许拜访索引中设置一些假文件,布置 蜜罐 ……