AIRI 虚拟角色引擎

要解决的具体问题

构建虚拟角色时，开发者常陷入"功能割裂"的困境：LLM 负责对话，语音识别与合成依赖外部 API，角色身体模型与大脑逻辑脱节，游戏智能体（如 Minecraft AI）与虚拟形象无法联动。浏览器环境下，WebGPU/WebAssembly 的性能瓶颈让多模态交互难以流畅运行，移动端适配更是需要重复开发。这种"零件拼凑"模式导致数字角色开发周期长、维护成本高，且难以实现"感知-决策-表达"的闭环交互。

引擎如何工作

四大核心系统

• 大脑：LLM 处理自然对话，集成 Minecraft/Factorio/KSP 游戏智能体，内置 Memory Alaya 记忆系统，用浏览器端数据库 DuckDB WASM/pglite 存储对话与环境数据，支持 Telegram/Discord 等多平台交互。
• 耳朵：支持浏览器或 Discord 音频输入，客户端完成语音识别与说话检测，无需上传音频至云端，降低隐私风险。
• 嘴巴：整合 ElevenLabs、Azure、OpenAI TTS 等 5+ 语音合成服务，支持本地 Kokoro 引擎，避免单一供应商绑定。
• 身体：同时兼容 VRM 与 Live2D 模型，实现自动眨眼、视线追踪、空闲眼球运动等自然动效，无需额外动画师介入。

技术架构与生态

采用 Web-first 设计，基于 WebGPU/WebAssembly/Web Workers 实现浏览器/移动端原生运行；通过 xsai 接口统一 25+ LLM 提供商，降低模型切换成本；原生加速层支持 NVIDIA CUDA 与 Apple Metal，平衡性能与兼容性。子项目如 unspeech（通用 TTS/ASR 代理）、airi-factorio（Factorio 游戏智能体）、MCP Launcher 等，扩展了部署与集成能力。

适用边界与注意点

• 运行环境：Web-first 架构优先，纯浏览器端无需服务器；移动端推荐使用浏览器，原生部署需自行实现 CUDA/Metal 加速适配。
• 模型适配：VRM/Live2D 需遵循规范模型格式，自定义角色需处理动画绑定与物理模拟。
• 游戏集成：Minecraft/Factorio 智能体需额外配置游戏环境，LLM 游戏决策能力依赖模型训练质量。
• 语音服务：第三方 TTS（如 ElevenLabs）需自行处理 API 密钥与付费策略，本地 Kokoro 引擎需注意平台兼容性。
• 生产建议：生产环境中建议自建 Memory Alaya 扩展，替代默认浏览器数据库，提升数据持久化与扩展性。