Token 杀手：请求瘦身层

大模型 API 按 token 计费，来自命令行、日志或配置文件的输入里，往往混着大量不影响语义的内容：代码注释、空行、console.log 调试输出、重复的历史上下文、冗余的 JSON 元数据。这些无效 token 既占满上下文窗口，也推高调用成本，人工逐段筛除又费时且容易出错。

处理流水线与核心能力

Token Killer 在请求发往模型前插入一道预处理层，按流水线 命令行输入 → 解析 → 标记识别 → 过滤 → 压缩 → 输出 → 大模型 API 工作：

• 预过滤：识别并移除语言特定注释、连续空白、调试日志、冗余元数据与堆栈中的非关键帧，保留核心逻辑与有效数据。
• 语义压缩：通过摘要、结构化抽取、历史合并与去重，将长上下文压缩为语义等价的精简版本。
• 上下文优化：按优先级对内容截断、动态调整长度，避免接近窗口上限时整轮请求被截断。
• 安全保真：默认 dry-run 预览，执行前自动备份原文，支持白名单关键词保护、压缩日志记录与可选语义相似度校验。

CLI 与集成方式

默认 dry-run 预览，加 --apply 才实际执行；--preview 展示将被移除的内容与 token 对比，--stats 输出累计节省量与费用估算，--proxy 以本地代理模式自动压缩转发请求，--format 支持 auto/code/json/yaml/xml/text 自动识别输入格式。也可直接作为 Python 模块导入，嵌入 Agent 工作流。

适用边界

• 过滤规则针对 token 计费的 LLM API 设计，若后端按字符或请求次数计费，收益需重新评估。
• 相似度校验为可选，依赖 sentence-transformers，实际精度取决于阈值与语料，关键内容建议结合白名单。
• 每次加 --apply 前先用 dry-run 确认，避免规则过宽误删代码段或 JSON 字段。