技能介绍

解决什么问题

找数据集不难，难的是「找对」。同一份公开数据可能躺在 Hugging Face Datasets、Kaggle、OpenML 或某个政府 CKAN 门户里，元数据质量参差不齐：有的 license 写得含糊，有的 schema 是几年前的快照，有的挂着 gated 访问限制，不点同意根本下不了。靠参数化记忆推荐数据集，很容易把过时、不可用或授权不明的候选当成答案。dataset-search 把「检索—筛选—评估」交给一个可执行脚本，而不是让模型凭印象列举。

工作方式

核心是 scripts/dataset_search.py，一个纯标准库的 Python helper。使用时先把用户需求翻译成一份 dataset brief：研究问题、任务类型（分类、预测、地理空间、NLP、BI 等）、地区与语言、时间范围、格式、license、必须字段和要避开的来源。脚本据此启动检索：

--profile 指定领域（ml、nlp、geospatial、climate、economics、government 等）；
--region 限定国家、语言或地理提示（如 BR、EU、US、Ceara）；
--source 指定单个数据源或一次查全部；
--brief 直接读一份结构化 JSON 需求文件；
--offline 不联网，只输出各源的检索入口与获取指引。

脚本对 Hugging Face Datasets、Kaggle CLI、OpenML、UCI、Zenodo、Figshare、data.gov CKAN、NASA/CDC Socrata、Harvard Dataverse、GBIF 及通用 CKAN 门户有直连适配；对 AWS Open Data Registry、Google Cloud Public Datasets、Databricks 与 Snowflake Marketplace、data.europa.eu、UN Data、FRED、NOAA、Copernicus 等云湖和注册表，则给出带引导的检索路径。候选之间按相关性、来源、license、更新频率、schema 质量和获取方式逐项比较。默认执行 download 只打印安全的获取计划，真正执行下载或调用源 CLI 需要显式加 --yes。

适用边界

云数据湖（S3、BigQuery、Delta Sharing、Spark、Athena、Databricks）建议走原生查询而不是下载到本地，技能输出的是查询入口和示例，不是本地文件。
gated、付费或 license 受限的数据，下载前必须先确认授权条件与最小 schema 是否满足，不能直接承诺可用。
Kaggle 依赖本地 kaggle CLI 与凭证；Hugging Face 受限数据集需先认证并接受条款；企业目录大多需要浏览器或账户操作。
政府门户与科学仓库的元数据质量不稳定，脚本会区分已确认的 API 结果与生成的检索链接，网络失败时明确标出回退状态。