← 返回重点项目
查看 GitHub 项目

UditAkhourii/cdaf

一句话定位

CDAF（Cached Descriptive Asset Files）—— 视频资产的纯文本时间戳 sidecar 格式。README 自述 "Stop making AI agents watch the same video twice"——生成一次 .cdaf 文本描述文件（与视频同名同目录），后续 agent 读取文本而非再跑视频理解。视频元数据 first-class file format 的早期尝试。

它解决的问题

AI agent 处理视频资产时面临三类成本：(1) 重复 token 成本——同一视频被多个 agent 任务反复分析，每次都要消耗 MLLM tokens；(2) 慢 latency——视频理解通常需要 30s-数分钟；(3) 不可缓存——传统缓存只缓存"完全相同的请求"，但 agent 任务对同一视频的提问角度各异，缓存命中率低。CDAF 直击这三点：生成一次纯文本时间戳描述（约几百 tokens）作为 sidecar，agent 读取 sidecar 而非再跑视频理解。

为什么值得关注（2026-08-27）

热度来源判断

热度来自 "agent 视频处理 token 成本 × 重复理解浪费 × sidecar 模式成熟" 的组合：(1) MLLM 处理视频的 token 成本是真实可量化的优化机会；(2) 同一视频被多个 agent 任务反复分析是常见 pattern（视频编辑 / 字幕 / 内容审核 / 摘要）；(3) sidecar 模式在 LLM 训练数据（parquet metadata）与游戏引擎（UE4 .uasset sidecar）已有成熟实践。主要风险： 1 天新项目，标准制定能力有限（是否会被 OpenAI / Anthropic / Google 等 MLLM 提供商接纳）；与现有视频元数据格式（FFmpeg metadata / EXIF / ID3）的兼容性未在 README 中明示；自报告 benchmark 数据未独立核验。

关键技术亮点

  1. 纯文本时间戳 sidecar：与视频同名同目录（如 sunset-drone.mp4 ↔ sunset-drone.cdaf），文本格式可读可 diff
  2. Hash-based 验证：agent skill 读取 sidecar 前先验证视频 hash，确保 sidecar 与视频匹配
  3. CLI 多命令：generate（生成 sidecar）/ validate（验证）/ read（读取）/ status（状态查询）
  4. 本地 provider：--local 选项支持本地模型生成 sidecar，无需 API key
  5. Agent skill 一键安装：npx cdaf-skill 自动安装到 Claude Code / Codex / Cursor
  6. 可复现 benchmark：自报告 10× token 节省 + ~50× for 60-second footage + 生产 ~1/25th 成本
  7. arXiv preprint 草稿：把 benchmark 数据包装为学术论文，提升可信度

架构师速览

决策问题 研究判断 证据边界
系统边界 CDAF 是一个文件格式 + Python CLI + agent skill 三件套，不做视频理解，只做"视频理解产物的 sidecar 缓存" 仅基于 README 的 "open sidecar format" + SPEC v1.0 + CLI + agent skill 描述；具体 SPEC 的字段定义（必填/可选）、hash 算法、agent skill 的检测逻辑需阅读 SPEC.md 与 skills/ 才能量化
主路径 视频资产 → cdaf generate 生成 .cdaf sidecar → agent skill 检测同名 sidecar → 验证 hash → 读取 sidecar 而非视频 → 响应 prompt 主路径来自 README "one command" + "Teach your agent the format" 段落；agent skill 的 fallback 逻辑（sidecar 缺失 / hash 不匹配时是否回退到直接视频分析）未在 README 中明示
关键权衡 视频理解的精度 vs sidecar 的生成成本 vs sidecar 的可移植性 vs 标准制定的话语权 档案明示 10× token 节省与 SPEC v1.0；具体 sidecar 生成成本（一次 MLLM 调用）、与 FFmpeg metadata 的兼容、是否被 Remotion / Premiere / DaVinci 等视频工具原生接纳均待核验
最小 PoC 拿一段 60 秒视频生成 sidecar → 在 Claude Code / Codex 安装 cdaf skill → 提 5 个不同问题验证 sidecar-first protocol → 对比直接视频理解的 token 数与 latency PoC 范围由"先单视频、5 个问题、可对照"原则推导；具体 sidecar 内容质量、token 节省实际比例、accuracy 差异待核验

架构启发

CDAF 的核心启发是 "资产元数据 first-class file format" ——把"视频理解产物"沉淀为可版本化、可 diff、可缓存的文本格式，而不只是缓存层中的临时数据。与同类项目的启发： 和 8-24 的 backpass（AGENTS.md 自动改写）、8-25 的 watermark-remover（视频水印移除）共同证明 "AI agent 时代的 sidecar 模式" 在不同场景的复用价值。更深层的启发是： 当 MLLM 处理昂贵资产（视频 / 图像 / 音频）时，sidecar-first protocol 比 ad-hoc 缓存更易被多个 agent 共享——这是"agent 协作时代"的基础设施空白。

架构图（MMD）

证据边界：此图只采用本档案已有可核验描述；"待核验"节点不应视为项目实现事实。

flowchart LR
  Video[视频资产 .mp4] --> Gen[cdaf generate
生成 sidecar]
  Gen --> MLLM[MLLM 视频理解
远程 / 本地 --local]
  MLLM --> Sidecar[.cdaf 文本描述
时间戳 + 标签]
  Sidecar --> Pair[同名同目录
.mp4 ↔ .cdaf]
  Agent[AI Agent
Claude Code / Codex / Cursor] --> Skill[cdaf-skill
npx cdaf-skill]
  Skill --> Detect[检测同名 .cdaf]
  Detect --> Verify[验证 hash 匹配]
  Verify --> Read[读取 .cdaf 文本
~几百 tokens]
  Read --> Respond[响应 prompt
不再跑视频理解]
  Detect -.fallback 待核验.-> DirectMLLM[直接视频理解]
  Verify -.hash 不匹配.-> DirectMLLM
  Sidecar -.优化.-> Benchmark[10× token 节省
~50× for 60s
生产 ~1/25th 成本
自报告数据待核验]
  Sidecar -.风险.-> StdRisk[标准制定能力
是否被 MLLM 提供商
与视频工具原生接纳 待核验]

定位判断

基础设施候选项目（video metadata format）。 CDAF 不做视频理解，只做"视频理解产物的 sidecar 缓存格式"——这是基础设施型定位。核心竞争壁垒： SPEC v1.0 + CLI + agent skill + benchmark + arXiv 草稿的完整产品化；与同类项目（FFmpeg metadata / EXIF / ID3）的差异化定位。主要风险： 1 天新项目，标准制定能力有限；自报告 benchmark 数据未独立核验；与现有视频元数据格式的兼容性未明示。若持续维护 + 被 MLLM 提供商接纳，6-12 月内有潜力成为"agent 视频处理成本优化"的标准 sidecar。

风险 / 局限 / 泡沫点

与同类项目的关系

是否值得持续跟踪

值得跟踪（agent 视频处理成本优化的早期基础设施）。 CDAF 1 天 63⭐ + 6 forks 体现市场对"agent 视频处理成本优化"的真实需求，完整产品化（SPEC + CLI + skill + benchmark + arXiv）是显著加分项。对独立开发者： 12 月内评估自家视频产品是否需要接入 CDAF sidecar（README 自报告 10× token 节省，但需独立核验）。对 MLLM 提供商： 这是"sidecar-first protocol"的早期样本，可能演化为"agent 协作时代"的基础设施空白。建议关注：(1) 自报告 benchmark 是否被独立核验；(2) 是否被 MLLM 提供商接纳为原生输入格式；(3) 是否被 Remotion / Premiere / DaVinci 等视频工具原生集成。

后续观察点

数据来源: GitHub API (2026-08-27) | Stars: 63 | Forks: 6 | License: MIT | 语言: Python | 创建: 2026-08-26 | 数据截至 2026-08-27 19:30 UTC