Data Designer 合成数据集
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/data-designer。
技能介绍
要解决什么问题
评测、演示和联调往往需要形状固定、字段语义清晰的表格数据,但真实数据难拿、脱敏成本高,手写 faker 脚本又容易在列依赖、分布和校验上反复返工。Data Designer 用声明式列配置描述生成逻辑;本技能把「用自然语言描述数据集」收敛成可执行的 DataDesignerConfigBuilder 配置与 Python 入口文件。
技能如何工作
- 双模式路由:默认走交互式工作流(
workflows/interactive.md),逐步澄清字段与约束;若用户表示「你来决定」「直接构建」等,则改读 自动导航(workflows/autopilot.md)并按合理假设推进。 - 列与采样规则:默认保留输出中的全部列;仅在用户明确要求删除,或列为派生其它列的辅助列(如采样
person后拆姓名、城市)时才删。需要人员字段时参照references/person-sampling.md;用户明确给种子或要求基于现有记录时再读references/seed-datasets.md。 - 实现细节:采样器与验证列需同时指定
type与params(如sampler_type="category"配dd.CategorySamplerParams(...));SamplerColumnConfig用params而非sampler_params;Jinja2 中用{{ column_name }}/{{ column_name.field }};LLM 评判器评分取{{ quality.correctness.score }}而非整段字典。 - 交付物:在当前目录写入含
load_config_builder()的 Python 文件,按需附带 Pydantic 模型、自定义生成器或 PEP 723 内联依赖;若已有匹配描述的数据集脚本,会先问是编辑还是新建。
边界与注意
本技能面向 Data Designer 配置生成,不负责替你安装 data-designer CLI(需 Python ≥ 3.10)。预览若因沙箱阻断出站网络失败,需在允许外网的环境重试或由你本地执行命令。
使用场景
- 为 LLM 评判列(如 correctness 评分)搭一份带嵌套字段的评测表,便于本地预览生成逻辑
- 产品 Demo 需要固定 schema 的客户评论或分类字段,但暂无脱敏后的真实导出可用
- 联调接口前要用含姓名、地址等人员采样列的表格数据,又不想手写 Faker 维护列依赖
- 已有少量种子记录,希望按同一分布扩展成更大规模的合成数据集脚本
适合人员
- 要在上线前自测 RAG/Agent 流水线、需可重复合成评测集的算法工程师
- 负责后端联调、希望产出 `load_config_builder()` 可复用脚本而非一次性 mock 的后端开发
- 先定列类型、采样器与校验规则再对接真实数仓、用 Data Designer 做原型的数据工程师
- 做内部工具演示、需要交互式澄清字段或一键自动假设两种工作流的技能维护者