【网络安全 | CTF】攻防世界 Training-WWW-Robots 解题详析

攻防世界Training-WWW-Robots 和之前的题几乎一模一样 内附解题过程

网络爬虫会利用 “robots.txt” 文件来核查它们是否被允许抓取并索引你的网站，或者只是允许抓取其中的部分内容。重点是robots.txt文件，作用是限制爬虫按照你的文件内容规定来在规则范围下爬取，但实际上是防君子不防小人.发现有一个/fl0g.php文件禁止爬取，我们点进去看，果然存放了flag。有时候，这些文件非但没能保护内容不被抓取，反而泄露了网站的目录结构。/robots.txt查看该题目的robots。给了我们提示，关注robots.txt。进入题目，看到一段英文文章。

根据题目提示直接构造payload /robot.txt ,课看到/fl0g.php，继续构造就可看到flag； 总结：robots.txt 文件是一个文本文件，使用任何一个常见的文 本编辑器，比如 Windows 系统自带的 Notepad，就可以创 建和编辑它[1] 。robots.txt 是一个协议，而不是一个命令。 robots.txt 是搜索引擎中访问网站的时候要查看的第一个 文件。robots.txt 文件告诉蜘蛛程序在服务器上什么文件 是可以被查看的 ...

看到题目知道要考robots协议， /robots.txt 然后就看到了 /fl0g.php 再来学习一下robots协议。 它更像是一种公告告诉网络搜索引擎的漫游器可以爬取哪些东西，不可以爬取哪些东西。不具备安全保护的功能。所以爬虫在爬网站时，会第一浏览robots.txt中的许可爬取的部分，再根据许可爬取内容。 ...

考察robots文件。

如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。1.做题技巧层面：有时flag会出现一些相似的变形，比如这道题中的fl0g，不要忽视了。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt文件。3.尝试访问：本题目场景的网页下的robots.txt文件，得到如下界面。，如同守门人无法阻止窃贼等恶意闯入者,是一个类似于君子协议的文件。形式：在网站根目录下的robots.txt文件。的内容时，才需要使用。

其中用到了 JavaScript 中的 Array 原型对象和条件判断语句。该代码通过扩展 Array 原型对象添加了一个名为 contains 的函数，用于判断一个对象是否在数组中，主要应用于判断上传文件的扩展名是否属于指定的图片格式，这里是 [‘jpg’,‘png’]这段代码的作用是检查上传文件的扩展名是否符合要求，如果是图片格式（jpg或png），则启用提交按钮，否则禁用提交按钮并弹出提示消息。上传时抓包，修改filename文件后缀为。考察文件上传，具体原理及姿势不再赘述。

题目场景： http://220.249.52.133:31059 （温馨提示：每次进入URL的端口号都不一样） 1、点击链接进入以下界面 2、翻译 看到上面的信息，会想到君子协议 robots.txt； 3、URL为http://220.249.52.133:31059/robots.txt（在最后直接加上“/robots.txt”）—>回车 4、这是URL为http://220.249.52.133:31059/fl0g.php—>回车 5、OK cyberpeace{c598a5

发现这是一个爬虫的君子协议，不用管它，直接查看fl0g(这是个小写的“ L ”昂，后面是个零）。那么因该是后缀名的缘故，php？进入攻防世界，从这一题开始步入CTF的世界。那么试一下直接查看Robots文件。查看一下源代码，发现还以一样。出现知识盲区了，查了一下资料。打开靶机，发现一片空白。

通过题目标题，知道这个题考的是robots相关方向，之前在新手区做过一道robots，重要的就是要看robots.txt文件里面的权限如何 再一次补充一下robots的知识点，详细可以参考新手区题目 当robots访问一个网站（比如http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。（也就相当于一个管理权限的文件） robots.txt文件用法举例

WP 攻防世界 Training-WWW-Robots 题目 writeup 很明显，查看robots.txt文件 提示查看fl0g.php文件 得到flag了~

根据提示访问robots.txt 访问fl0g.php

1.看标题可知可能考察Robots.txt，相关知识：可参考这位大佬的博客 2.了解相关知识后直接访问 3.发现fl0g.php,继续访问，得到flag 总结:了解robits.txt

Training: WWW-Robots (HTTP, Training) 题目描述 In this little training challenge, you are going to learn about the Robots_exclusion_standard. The robots.txt file is used by web crawlers to check if they ...

首先打开题目，可以查看到有一场传英文，然后使用浏览器自带的翻译功能，可以得到使用robots.txt,可以尝试访问robots.txt。该任务围绕获取特定网页中的 flag 展开。打开题目页面，通过浏览器自带翻译功能得知需利用 robots.txt 获取信息。，最终成功获取到 flag 为 cyberpeace {7ece954a07e6ba317a6753b0e8fdb271}可以发现flag在/fl0g.php中。后发现 flag 位于。

从今天开始入门web