Agent Skills
返回列表
💻

Azure AI 内容理解 Python SDK

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/azure-ai-contentunderstanding-py。

技能介绍

要解决什么问题

在 RAG、合规归档或业务自动化里,原始素材往往不是纯文本:PDF/Office、扫描件、录音、监控视频和图片混在一起。手工转写或拆页面成本高,且很难得到带结构的语义结果(表格、段落、时间轴、关键帧)。Azure AI Content Understanding 提供统一的多模态分析入口;本技能对应其 Python SDK 的使用方式与约定,帮助你在代码里稳定跑通「提交 → 等待 → 取结果」这条链路。

核心能力与关键步骤

Content Understanding 的分析是异步长任务,典型流程有三步:

  1. 用 begin_analyze() 启动分析,得到可轮询的操作对象
  2. 通过 .result() 等待完成(SDK 负责轮询)
  3. 从 AnalyzeResult.contents 读取结构化输出;常见访问方式是 result.contents[0]

预构建分析器覆盖常见场景,例如:prebuilt-documentSearch(文档 → Markdown,便于 RAG)、prebuilt-imageSearch、prebuilt-audioSearch(转写与时间信息)、prebuilt-videoSearch(帧、转录、摘要)、prebuilt-invoice(发票字段)。需要领域字段时,可用字段模式创建自定义分析器并做分析器管理。

结果侧有两类内容模型:DocumentContent(PDF、图片、Office 等,含页面、表格、段落等)与 AudioVisualContent(音视频,含转录短语、时间戳、关键帧);二者继承 MediaContent,可拿到基础信息与 Markdown 表示。客户端分同步 ContentUnderstandingClient 与异步 ContentUnderstandingClient (aio),高吞吐场景应整条路径统一选一种模式。

认证与资源释放上,技能强调两条生产向规则:优先 DefaultAzureCredential(本地 Azure CLI/VS Code 与云上托管身份同一套写法;生产可用 AZURE_TOKEN_CREDENTIALS 收紧凭据链),以及客户端与异步凭据都放进上下文管理器(with / async with),避免 HTTP 连接与令牌缓存泄漏。

适用边界与注意点

  • 视频/音频分析可能耗时数分钟,调用方需要按长任务设计超时与重试,而不是当作即时 API。
  • 同一调用链不要混用同步与 azure.ai.contentunderstanding.aio 异步客户端。
  • 大文件场景优先用 URL 源,减少上传开销;begin_analyze 应配合正确的 AnalyzeInput 入参。
  • 预构建分析器已够用时不必自建分析器;自定义分析器留给专业字段提取。
  • 更细的能力清单与次要场景见技能内 references/capabilities.md、references/non-hero-scenarios.md。

使用场景

  • 法务或知识库团队把大量 PDF/Office 合同入库,需要转成 Markdown 片段供向量检索与问答引用
  • 财务共享中心批量处理供应商发票扫描件,要自动抽取金额、税号等字段写入 ERP 或审批流
  • 媒体或培训部门上传会议录音/播客,需带时间戳的转写文本以便按段落检索与剪辑定位
  • 安防或运维场景对监控视频做分析,需要关键帧、语音转录与摘要写入事件工单或检索索引

适合人员

  • 在 Azure 上搭建 RAG 数据管道的后端工程师,要把 heterogeneous 文档统一成可嵌入的结构化文本
  • 负责应付账款自动化的集成开发,希望用预构建发票分析器替代 fragile 的 OCR 正则解析
  • 维护内部视频/音频资料库的信息架构师,需要长任务轮询与 `AnalyzeResult.contents` 的稳定取数方式
  • 企业应用团队已采用 Entra 与托管身份,希望 SDK 侧统一 `DefaultAzureCredential` 与异步客户端写法