Hugging Face 数据集查看器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/huggingface-datasets-zh。
技能介绍
要解决什么问题
在 Hugging Face Hub 上选数据集时,你往往需要先确认仓库是否能在 Dataset Viewer 里打开、看清 config/split 结构,再抽样看字段与行内容,必要时做全文搜索或谓词筛选,而不是一上来就整库下载。私有或 gated 数据集还要在只读前提下带上认证。本技能把上述探索路径收敛成一组 GET 端点调用约定,并补充「上传 Parquet 让 Viewer 可用」以及「把代理会话痕迹托管到 Datasets」两条相关流程。
技能如何工作
只读 Viewer API 的典型顺序:
- 可选调用
/is-valid?dataset=检查数据集是否可用。 - 用
/splits?dataset=解析 config + split。 /first-rows快速预览;需要更多行时用/rows,通过offset(从 0 起)和length(行类端点通常 ≤100)分页。- 文本匹配走
/search;结构化条件走/filter(where谓词,可选orderby),二者保持只读、无副作用。 - 元数据与导出线索:
/parquet列分片链接,/size、/statistics看规模与列统计;若 Hub 提供,还可查/croissant。
默认基址为 https://datasets-server.huggingface.co;查询参数需 URL 编码。分页不完整时,用响应里的 num_rows_total、num_rows_per_page、partial 决定是否继续拉取。若你要在 CLI 里做 Parquet URL 发现或 SQL,SKILL.md 指向 hf-cli 技能中的 hf datasets parquet / hf datasets sql,与本技能的 HTTP 探索互补。
创建与上传(按依赖选择):零本地依赖可在 Hub UI 新建数据集仓库并上传 Parquet;低依赖可用 npx @huggingface/hub / hfjs 上传文件夹(可私有创建)。上传后仍建议用 /parquet 确认分片出现在 Viewer 中,以便后续用 @~parquet 类路径查询。
代理痕迹:Hub 可识别 Claude Code、Codex、Pi Agent 等导出的 JSONL 痕迹,自动标记为 Traces 并启用痕迹查看器。默认应使用私有仓库;保留原始 .jsonl,按项目/cwd 嵌套目录上传,避免把所有会话堆在数据集根目录。
适用边界
- 本技能侧重 Dataset Viewer / datasets-server 的只读 HTTP 流程,不是
datasets库本地map/filter的全量 ETL。 - 受限数据集必须在请求头提供
Authorization: Bearer <token>。 /search的全文行为由服务端实现细节决定;复杂 SQL 或大规模离线处理应走 hf-cli 或本地下载,而非无限分页/rows。
使用场景
- 微调或评测前,在 Hub 上先用 `/splits` 与 `/first-rows` 核对 config、字段和样本,再决定是否全量下载
- 对接 gated 数据集时带 Bearer,用 `/rows` 分页抽检并用 `/statistics` 核对列分布是否符合实验假设
- 本地 Parquet 推上新仓库后,调用 `/parquet` 与 Viewer 页面确认分片可见,再对外分享数据集链接
- 将 Claude Code、Codex 或 Pi 的 JSONL 会话按项目目录上传到私有 Datasets,用 Hub 痕迹查看器复盘轮次与工具调用
适合人员
- 负责训练数据准入的算法工程师,需要在不全量下载的前提下验收 Hub 数据集 split 与字段是否符合管线
- 维护 Hugging Face 数据集仓库的数据工程师,要上传 Parquet 并核对 Viewer、`/size` 与 `/parquet` 端点结果一致
- 构建或运营 Coding Agent 的工程师,需把本地 JSONL 会话托管到 Hub 私有库供团队只读审计与回放
- 撰写数据相关论文或报告的研究员,先用 `/search` 或 `/filter` 在 Hub 上探查子集再决定导出范围