多格式科学数据探索分析

它解决什么问题

科学数据文件格式繁多且互不相通，实际处理中有几个具体痛点：

• 格式识别靠猜：拿到一个 .cif 或 .mzXML 文件，很难快速判断它是晶体结构、质谱数据还是别的什么，格式说明散落在各处文档里。
• EDA 手工拼装：每遇到新数据集就要临时找对应的 Python 库、写统计脚本，缺少统一的概览、缺失值检查与异常排查流程。
• 报告产出随意：分析结论散落在对话和临时脚本里，难以沉淀为可复用、能指导后续分析计划的文档。

这个技能的目标是把「打开文件 → 识别格式 → 执行分析 → 产出报告」收敛成一条可复用的流程。

它如何工作

核心能力包括：

• 格式自动检测：覆盖 200+ 种科学文件格式，按化学分子、生物信息、显微成像、光谱分析、蛋白/代谢组学、通用数据六大类组织。
• 格式专属分析：每种格式配有参考文档，说明典型数据内容、常见用途、推荐的 Python 库和适配的 EDA 方法。
• 质量评估：维度、数据类型、缺失值、重复项、统计分布与离群点检查。
• 报告生成：输出结构化 Markdown 报告，包含元信息、格式详情、分析结果、关键发现和后续分析建议。

关键步骤：

1. 检测文件类型：提取扩展名，在 references/ 目录中查找对应条目。
2. 按需加载格式信息：用 grep 定位具体格式条目，而不是把上万字的参考文档整篇读入上下文。
3. 执行分析：调用 scripts/eda_analyzer.py，或在对话中按格式特点定制分析（如 FASTQ 的 GC 含量统计、显微图像的维度与位深检查）。
4. 生成并保存报告：按 {文件名}_eda_report.md 命名输出，供下游分析参考。

适用边界与注意点

• 做的是探索，不是建模：产出是数据概览、质量评估和分析建议，不包含建模或结论性推断。
• 依赖第三方库：多数科学格式需要专门库（如 pysam、rdkit、tifffile），缺库时需先按报错信息安装。
• 大文件需采样：百万级记录的数据应采用抽样或分块策略，报告中的统计量基于样本估计。
• 未知格式会降级处理：扩展名未收录时，只能按文本/二进制结构做通用分析，精度有限。