Agent Skills
返回列表
📚

自托管网页归档

知识管理 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @kunlungrowth/self-hosted-web-archive。

技能介绍

网页存档的现实困境

  • 论文、技术文档或证据页面突然404，原始内容再也无法访问
  • 书签越攒越多，但多数链接早已失效，只剩空标题
  • 依赖第三方服务时，数据可能因政策调整或服务关停而丢失
  • 普通"另存为"无法完整保存动态页面或多媒体资源

核心工作机制

  1. 全量内容捕获：通过自托管归档服务保存完整 HTML 及关联资源，动态页面采用截图与 PDF 双重留存
  2. 多源数据导入：支持对接浏览器书签、历史记录，也可直接提交 URL 进行手动归档
  3. 策略化抓取配置：可设置是否递归抓取子页面、是否存储媒体文件及抓取频率阈值
  4. 全文检索索引：对归档内容的标题、正文、日期建立可检索索引，替代单纯链接存储
  5. 持久化保障：通过定期离线备份机制，确保归档库不会因单点故障丢失

关键实践要点

  • 存储规划：媒体文件占用空间较大，需提前评估磁盘容量并配置冗余备份
  • 合规抓取：遵守目标站点 robots.txt 规则与访问频率限制，避免高频请求影响源站性能
  • 版权边界：归档他人内容时需遵循合理使用原则，批量抓取前确认站点条款
  • 隐私保护：敏感页面（如登录后内容、个人信息）需获得授权后才能保存传播

使用场景

  • 写论文时发现核心引用链接失效，需要找回原始页面内容
  • 浏览器收藏夹堆积上千书签，多数原网页已404无法访问
  • 收集竞品分析资料时，对方官网多次改版导致历史页面丢失
  • 作为证据留存，需要将重要网页保存为可离线查阅的完整快照

适合人员

  • 科研人员：需要长期保存学术文献和实验数据页面，防止引用链接失效
  • 内容创作者：收集的写作素材链接频繁过期，需要本地化归档管理
  • 法务人员：电子证据保全要求网页内容可追溯、可验证的完整快照
  • IT运维：需要自建内部知识库，统一归档公司内部文档和外部参考资料