Git安全采集器

要解决什么问题

团队把代码放在 GitHub/GitLab/Bitbucket 上，常见问题有两类：一是密钥、连接串和依赖 CVE 混在提交历史里，PR 合并前没人系统扫一遍；二是想沉淀 Git 实操知识时，论坛文章质量参差，还容易踩 robots.txt、隐私与转载 红线。

技能如何工作

技能是双引擎设计，按你的指令走不同路径。

引擎 A — 代码安全扫描（触发词如「仓库漏洞检测」「密钥泄露检测」「Git 安全审计」）：

• 解析仓库 URL 或本地路径，读取 ~/.git-secure-collector/config.json 做平台认证，远程仓克隆到临时目录或直连本地仓
• 密钥泄露：规则表（如 AWS AKIA…、GitHub ghp_、私钥 PEM）配合熵值分析
• 敏感硬编码：数据库 URL、内网 IP、JWT secret 等模式匹配
• 依赖 CVE：从 package.json、requirements.txt、pom.xml、go.mod 等解析版本，经 Tavily 或 NVD 比对影响范围
• 危险函数 / 权限：eval/exec 等 AST 扫描，以及过度文件权限
• 结果按 critical～info 分级，写入 ~/.git-secure-collector/scan-results.db，可配合定时任务或 Git 平台 Webhook 做增量 PR/MR 扫描，高等级可阻断合并

引擎 B — 多论坛知识采集（需明确引用 git-secure-collector 或「Git安全采集」）：

• 默认优先 S 级渠道（官方文档、Stack Overflow 高赞、r/git 等），再读 references/forum-registry.md 的 A/B 级清单
• 未收录站点走四级准入（主体、爬虫合规、社区质量、安全风险），不过则进黑名单
• 采集遵守间隔与页数上限，经三层过滤（标题党/广告、无实操、与官方矛盾等）后结构化入库，字段含知识点 ID、命令示例、来源链接与置信度分

适用边界与注意点

• 引擎 A 的 CVE 查询若走 NVD，需自行配置 API Key；Webhook、blocking status 依赖各平台 CI/App 权限
• 引擎 B 强调宁少勿滥，入库率设计在约 20% 以内，不会批量爬取登录墙或禁止转载内容
• 扩展扫描规则可改 references/secret-detection-rules.md；新论坛需通过准入流程才会写入注册表