跨系统数据导入管道

要解决的问题

在实际工作中，数据往往分散在多个系统中。Excel 表格里存着原始数据，IMA 知识库需要结构化条目，Obsidian 则希望以 Markdown 文件形式归档。手动复制粘贴不仅耗时，还容易出错——特别是当数据量达到几千行时，任何一次误操作都可能导致遗漏或重复。

技能如何工作

跨系统数据导入管道 的核心流程分为四个阶段：

• 数据提取：读取 .xlsx 或 .csv 文件，自动识别多 sheet 结构和复杂表头
• 数据清洗：去除重复行、统一日期/数字格式、处理缺失值和异常值
• IMA 写入：将清洗后的数据映射为知识条目，批量创建到 IMA 知识库
• Obsidian 归档：生成标准 Markdown 文件，按预设规则（如日期、分类）归档到指定目录

关键能力包括：

• 断点续跑：大数据集分批处理，失败后可从断点恢复，避免全量重跑
• 数据验证：导入前后自动对比数据量，确保无遗漏

适用边界与注意点

• 适用于结构化表格数据，非结构化文本（如长段落、富文本）需额外处理
• IMA 和 Obsidian 的字段映射需要提前配置，技能本身不提供可视化映射界面
• 首次运行建议先用小样本验证，确认清洗规则和归档路径符合预期
• 对于实时同步需求，此技能更适合一次性迁移或定期批量更新，而非流式同步