何药师数据知识产权文档撰写工具

要解决的具体问题

数据知识产权登记需要一套完整、可追溯的技术文档：从数据处理过程到分析方法，再到最终的申报书。手工整理这些材料不仅耗时，还容易遗漏关键信息——去重规则没有记录、模型评估指标不完整、公式排版混乱，都会让申报材料失去说服力。这个技能把整条流程串起来，从原始数据一路走到符合格式要求的申报文档。

核心能力与工作流程

数据预处理

技能按固定顺序对原始数据执行标准化处理，每一步都写入《数据处理过程记录表》：

• 去重：同时检测完全重复记录和业务主键重复（如同一患者同次检测的重复记录）
• 缺失值：按字段类型选择填充策略，关键字段缺失率超过 30% 时提示剔除该字段或对应记录
• 异常值：数值型用 IQR 箱线图法或 3σ 原则，时间型检测逻辑矛盾，分类型检查合法值域
• 标准化与变换：Z-score 标准化、Min-Max 归一化、时间格式统一到 ISO 8601，按需生成衍生字段

探索性分析与建模

• EDA：描述性统计、分布可视化、正态性检验（Shapiro-Wilk 或 Kolmogorov-Smirnov）、相关性热力图
• 机器学习：按 8:2、7:3、9:1 三套划分训练验证，分类任务使用分层抽样保持类别比例，至少对比三种算法，输出性能对比表和最优模型选择理由
• 报告中列出所用算法的 LaTeX 公式，并分析模型稳定性与局限性

四类文档输出

1. 数据集结构说明（Excel）：字段类型、属性、值范围、主键关系、缺失率、处理方式，附数据字典 Sheet
2. 数据知识产权申请书（DOCX）：按申报书标准格式，包含数据处理过程、分析方法与结果、创新性说明等章节
3. 稀缺性说明：清洗后数据少于 1000 条时自动生成，按亚组占比划分稀缺等级（<1% 高度稀缺，1%-3% 中度稀缺）
4. 数据产品说明：仅当数据集已推广应用时生成，含应用案例与合规性说明

适用边界与注意点

• 只处理结构化表格数据（CSV/Excel/JSON），非结构化文本不在范围内
• 稀缺性判定依赖业务逻辑的亚组划分，技能不会自动猜测分组方式
• 所有随机操作设置随机种子以保证可复现
• 生成最终文档前需要用户确认关键信息（数据集名称、时间范围等）
• 发现敏感个人信息时会提示脱敏，但不代替合规审查