Agent Skills
返回列表
抖音热门视频数据爬虫

抖音热门视频数据爬虫

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_ad45f167/douyin-selenium-scraper-skill。

技能介绍

解决什么问题

很多运营和数据分析场景需要快速拿到抖音热门内容、带货视频和实时热搜,但页面常是 SPA、动态渲染、作者字段混杂,且蝉妈妈等榜单页直接请求只能拿到空壳。若手工复制粘贴或写零散脚本,容易遗漏 iesdouyin 链接转换、粉丝数清理、分类标注等细节。这个技能把抓取、清洗和报告输出固化为可复用流程,方便工程师快速得到可分析的 TOP10 数据。

技能如何工作

  • 数据抓取:使用 Selenium 渲染蝉妈妈热门视频和电商带货榜单,从 DOM 表格中提取标题、达人、点赞、评论、播放等字段;百度热搜则通过服务端嵌入 JSON 正则提取 word 与 hotScore。
  • 数据清洗:将蝉妈妈隐藏分享链接转换为标准 douyin.com/video/{ID} 地址;对达人昵称做两轮正则清理,去除粉丝数、时间戳等污染。
  • 分类与输出:按 18 类视频赛道或 7 类电商品类打标签,生成四段式文本报告和带时间戳的 CSV 文件,减少文件占用冲突。

适用边界与注意点

它适合做轻量级趋势快照,不适合大规模全量采集。蝉妈妈是 SPA,页面 DOM 或 URL 变化时可能失效;百度热搜 JSON 结构也可能调整。访问频繁可能触发反爬验证码,需要控制频率。运行环境依赖 Python、Chrome 和匹配的 ChromeDriver,headless 模式在某些系统上可能白屏,调试时可切换有头模式。

使用场景

  • 早会前需要抖音热门视频TOP10标题、达人和播放量,快速生成CSV汇报。
  • 电商选品时要抓取蝉妈妈带货榜TOP10商品名、达人和点赞数,输出CSV比对。
  • 监控实时舆情时需要百度热搜TOP10词和热度分,并与抖音热门视频对照。
  • 周报需要四段式报告:热门视频、热搜、电商带货和洞察,生成TXT留档。

适合人员

  • 短视频内容运营:需要每天获取热门视频TOP10、赛道分类和原链,用于选题复盘。
  • 抖音电商分析师:需要抓取带货榜TOP10商品、达人和互动数据,辅助选品判断。
  • 舆情监控工程师:需要提取百度热搜TOP10关键词与热度分,观察热点迁移。
  • 数据周报作者:需要生成四段式TXT报告和CSV文件,便于存档与对比。