通用技术知识采集器

问题

技术信息散落在官方文档、社区问答、博客、论文和开源仓库中，直接粘贴进知识库容易出现三个问题：噪声多、来源不可追踪、与团队决策脱节。工程师需要的不是更多内容，而是可检索、可复审、可关联决策的技术事实素材。

工作方式

该技能把采集流程拆成可执行阶段：

• 主题配置：根据主题、深度和输出格式匹配 S/A/B/C/D 级渠道，优先官方文档、高赞问答、优质技术社区、论文与开源仓库。
• 安全采集：遵循 robots.txt、限频、反爬边界和隐私脱敏要求；遇到未收录站点时，先做主体资质、爬虫合规、内容质量和安全风险核验。
• 三层过滤：先淘汰广告、短内容和高重复内容，再校验实操性、正确性和步骤完整性，最后按来源权威度、可执行示例、正确性和时效性打分。
• 结构化入库：输出包含知识点 ID、来源链接、作者、标签、置信度、3D 分类、TL;DR 摘要、技术栈关联、版本历史和时效标记的条目。
• 知识组织：构建 related_to、extends、contradicts、version_of 等知识图谱关系，并支持增量更新、过期巡检和决策记录联动。

适用边界

它更适合沉淀 Web 前端、后端、AI/ML、DevOps、系统架构等有公开资料支撑的技术主题。对于高度内部化、强保密、无公开依据或依赖付费与登录内容的场景，应只作为索引和摘要辅助；采集结果仍需人工复核命令、版本兼容性和安全风险。