手势检测

这个技能解决什么问题

在人机交互、内容审核或教学辅助这类场景里，手部姿态是常见的输入信号：从监控截图里统计不同手势的出现次数、给视频帧打手势标签、或在无触控界面中识别用户的控制指令。核心问题是：给定一张图像，如何稳定拿到图中每个手势的位置、类型和可信度。自己搭管线要处理模型选型、推理环境和结果解析，而这个技能把「调 API、整理返回数据」这一步封装成可被大模型直接调度的函数。

核心能力与调用流程

技能提供两个工具函数，覆盖图片的两种传入方式：

• scripts.tools.gesture_detection：接收图片文件链接 dataUrl
• scripts.tools.gesture_detection_for_data_base64：接收图片的 Base64 编码 dataBase64

大模型在这里扮演路由层：理解意图、选工具、提参数，实际推理由远端 API 完成。标准流程：

1. 检查 API 密钥：若 scripts.config.settings.api_key 为空，用 AskUserQuestion 询问用户，再通过 scripts.config.set_api_key(key) 保存
2. 选择工具：按图片是链接还是 Base64 决定调用哪个函数
3. 提取参数：从用户输入中解析图片地址或编码
4. 关键字参数调用：例如 scripts.tools.gesture_detection(dataUrl=...)
5. 整理结果：从 result["raw"] 取出 JSON 数据，连同 result["success"]、result["message"] 一起展示

返回内容包含每个目标的检测框、置信度和手势标签。

使用边界

• 密钥是硬前提：没有 XBY_APIKEY 时必须向用户索取，禁止自行搜索或编造数据
• 参数不完整要追问：拿不到图片链接或 Base64 时用 AskUserQuestion 补齐
• 它只做检测：不负责手势到动作的映射或跨帧追踪，多帧连续分析需要自己组织多次调用