本地屏幕音频上下文捕获

要解决的问题

大多数 Agent 的记忆停留在对话层：一旦会话结束，你在屏幕上看过的文档、浏览器里打开的页面、会议中听到的讨论，对 Agent 来说就全部消失了。当你想让 Agent 回忆「上周那个报错窗口里显示了什么」，或者「刚才会议里提到的截止日期是哪天」，它只能从聊天文本里猜测。

这个技能针对的就是这类私有、本地优先的上下文缺失问题。它不依赖云端 transcript，而是把设备本身变成 Agent 的可检索记忆层。

它如何工作

技能的核心是 Screenpipe 的本地捕获能力，关键步骤包括：

• 屏幕文本捕获：以可搜索的文本形式记录屏幕上的内容，而不是简单截图；
• 应用程序上下文：保留窗口、应用来源等元数据，方便按「在哪个应用里看到的」过滤；
• 录音转写：捕获本地音频并生成文字记录，覆盖「听到的内容」这一维度。

底层捕获是事件驱动的：只在画面有变化时处理帧，而不是每秒全量录制。文本提取优先走可访问性树（accessibility tree），比 OCR 轻量得多，这也是 CPU 占用能维持在 5%～10% 的原因。

适用边界与注意点

• 硬件门槛：建议至少 8 GB RAM；磁盘上每月约消耗 5～10 GB，需要预留存储空间；
• 权限是硬前提：必须授予本地屏幕录制和音频输入权限，缺一不可；
• 稳定性：上游主分支更新很快且可能破坏功能，需要稳定版本时应使用 GitHub 上对应的 git 提交版本，而不是始终跟踪 HEAD；
• 客户端兼容性：可选搭配 MCP 兼容的 Agent 客户端使用，并非强制要求。

需要明确：这套方案捕获的是你自己的设备上下文，适合个人工作区的私有记忆场景，不适合当作跨设备或团队共享的记忆服务。