试卷质量评估
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_638acef9/exam-evaluator。
技能介绍
要解决的问题
试卷评估常卡在两类信息混在一起:客观数据(题量、答案分布、难度、重复题)需要稳定计算,主观质量(题干歧义、干扰项、解析、认知层级)需要语义判断。仅靠加权平均会把短板藏住,仅靠人工审阅又难以复现。exam-evaluator 面向试卷/题库质量评估,把 Excel、Word、PDF 中的试题解析成结构化数据,再输出可交付的 HTML 报告。
工作方式和适用边界
它按阶段执行:Phase 1 用本地脚本提取文本,Excel 直出 clean.json;Word/PDF 先出 raw.json,再由 Agent 做结构化,识别题型、题干、选项、答案、解析、知识点、认知层级和难度。Phase 2+ 会校验答案覆盖率、题型识别率、知识点覆盖率,低质量时提示二次解析。Phase 3 运行 compute_metrics.py 与 detect_duplicates.py 生成量化指标。Phase 4 强制确认评价模式、权重预设和低置信度题型。Phase 5 按内容效度、结构效度、难度控制、区分度潜力、规范性五维评分,综合分使用 min(加权平均, 最低分+2) 短板机制。Phase 6 生成 Chart.js 雷达图、题型分布、难度分布、答案分布和知识点词云等 HTML 报告。
注意:它不替代命题审核,也不保证对复杂扫描件、加密文档或低质量 OCR 文本完全准确;填空题答案唯一性、低置信度题型和答案分布失衡需要用户确认或标注。
使用场景
- 教研组拿到期末试卷 Word 文档,要检查题量、答案分布、难度梯度和重复题,并生成可归档 HTML 报告。
- 教师提交题库 Excel,需要识别知识点覆盖、判断题正确比例和选择题答案失衡,并标出低置信度题目。
- 命题审核时要把多套独立试卷拆成 clean_1.json 等文件,分别计算指标并汇总导航页。
- 学生辅导机构评估升学模拟卷,需要按升学考试权重检查难度、区分度、认知层级,并输出 P0/P1/P2 建议。
适合人员
- 需要审核期中/期末试卷结构、答案分布和命题规范的教研组长。
- 每周把 Word/PDF 试卷转成结构化题库并生成质量报告的命题教师。
- 负责题库建设、知识点覆盖和重复题清理的教务分析人员。
- 要按升学、日常、竞赛等不同权重评估模拟卷的学科负责人。