和鲸数据助手

要解决什么问题

很多机器学习项目从空仓库起步时，最难的一步往往不是建模，而是选对数据集：任务类型、领域、体量、目标变量都不清晰时，在和鲸数据上翻列表既费时，又容易踩到额度或格式上的坑。本技能把「需求澄清 → 登录/注册 → 搜索 → 对比推荐 → 按额度规划下载 → 校验落盘」串成一条可交互流程，用 Python + Playwright 在和鲸页面上完成自动化，而不是让你手动重复点下载。

技能如何工作

执行前会做多路径环境扫描（Python、Node.js 及依赖）；缺工具时给出自动安装、手动安装或配置路径等选项。Python 侧以 python main.py 为主，Node 侧可用 node download.js 作为等价实现。

典型阶段包括：

• 需求采集：任务类型（回归/分类/NLP 等）、领域、数据规模、目标变量、保存目录（默认 datasets/）
• 账号：已有账号则邮箱密码走 API 登录；无账号则引导微信或邮箱注册，凭证仅用于当前会话，不写文件、不入日志
• 搜索与推荐：用任务+领域组合中英文关键词调用和鲸 API，汇总文件列表、大小、下载/点赞等，以表格形式对比
• 下载规划：通过数据集页确认弹窗动态读取当日剩余额度（新用户可能仅 3 次/天，不假设固定 20）；按推荐优先级排期，部分数据集标注不消耗额度
• 落盘校验：检查文件存在、大小、CSV 可读性与 UTF-8；异常时按错误表处理（403 重签、额度不足次日再下、编码用 chardet 转换等）

适用边界与注意点

• 依赖和鲸网站结构与 API 行为；页面文案或弹窗格式变化时，额度检测可能需保守估计。
• 自动化下载受账号真实额度限制，规划阶段应优先高匹配数据集。
• 下载结束后应关闭浏览器；切勿将密码提交到版本库或环境变量。