购物场景 Agent 体验评估

要解决的问题

线上购物助手看似能答商品推荐、价格、预算、品牌偏好等问题，但实际体验往往依赖单条对话观感。要比较 豆包 和 通义千问 在真实购物场景中的表现，需要一套可重复、可量化、可留档的评估方法。

技能如何工作

• 查询生成：调用 DeepSeek 生成 30 条覆盖 11 类购物场景的用户查询，包括具体商品、预算约束、品牌偏好、功能要求、模糊需求、矛盾需求等。
• 模型回答：让 doubao-seed-2-0-pro 与 qwen-plus 分别以电商购物助手角色回答全部查询。
• 专家评分：由 DeepSeek 按 7 分制从 11 个维度评分，如商品相关性、推荐理由说服力、价格合理性、事实性、交互自然度，并输出综合评语。
• 报告交付：生成带环形图与雷达图的 DOCX 报告，以及包含查询、回答、评分和统计汇总的 XLSX 文件。

适用边界与注意点

该技能更适合用于横评购物助手体验，不是生产级推荐系统压测。API 调用次数较多，运行约 15–30 分钟，需要提前配置 DEEPSEEK_API_KEY、DOUBAO_API_KEY、QWEN_API_KEY。评分结果反映的是给定查询集与评分提示词下的表现，若要用于选型，建议结合真实业务数据复核。