Photon 高速 OSINT 爬虫

要解决的问题

做 OSINT 侦察时，分析人员经常需要对目标站点做一轮系统性爬取：页面里藏着哪些链接、暴露了哪些邮箱、上传过什么文件、前端代码里有没有硬编码的密钥。手工翻页既慢又容易漏，普通爬虫又不针对这些敏感信息做提取。Photon 就是为解决这个问题而生：一次爬取，把侦察中关心的结构化线索直接落盘。

它的工作方式

Photon 是一个基于 Python 的多线程爬虫，核心流程分三步：

• 爬取：从给定目标 URL 出发递归抓取页面，支持带参数的地址（如 example.com/gallery.php?id=2），并跟随参数变化继续爬。
• 提取：在抓取过程中用正则识别七类数据——URL、邮箱、社交媒体账号、文件链接、密钥、JavaScript 端点和子域名。
• 落盘：结果按类别整理保存，也可导出为 json，方便后续脚本消费。

适用边界与注意点

• 只跑在 Docker 里：上游以 Python-Alpine 镜像（约 103 MB）分发，结果要么写入本地 Docker 卷（可用 docker inspect 定位），要么挂载到指定目录，使用前要先理清输出路径。
• 不是漏洞扫描器：它做的是数据提取，不含漏洞验证能力，密钥发现仅是文本层面的收集。
• 仅限授权目标：爬取前应确认权限，参数化 URL 的递归抓取范围可能比预期更宽。