#496 – FFmpeg: The Incredible Technology Behind Video on the Internet｜深度中文详解

嘉宾：Jean-Baptiste Kempf、Kieran Kunhya · 日期：2026-05-06（PT）

• 原集网页
• YouTube
• 音频
• 转写

---

播出信息

• 日期：2026-05-06（PT）
• 嘉宾：Jean-Baptiste Kempf（VideoLAN 主席，VLC/FFmpeg 关键人物）；Kieran Kunhya（长期编解码/FFmpeg 贡献者，FFmpeg X 账号）
• 时长线索：最后转写 cue ≈ 15458s（约 4h17m+）；官方章节末段起点 15064s（≈97.5% of last_cue）
• 主题锚点：开源多媒体基础设施、手工汇编、大厂与志愿维护者的激励错位

节目结构 / 议程

1. 开场：代码质量、手工汇编与拒绝后门 — 00:00 🎧 · ▶️
2. 赞助致辞与开源精神 — 03:00 🎧 · ▶️
3. VLC 能打开的最怪东西 — 10:48 🎧 · ▶️
4. 按下播放后发生了什么 — 15:12 🎧 · ▶️
5. 视频编解码器与容器 — 24:33 🎧 · ▶️
6. FFmpeg 是什么：开源与视频赋权 — 35:20 🎧 · ▶️
7. 拒绝千万美元：VLC 起源与无广告原则 — 56:20 🎧 · ▶️
8. FFmpeg 与 Google / 大厂激励错位 — 1:15:17 🎧 · ▶️
9. 开发者文化与 VLC↔FFmpeg 双星系统 — 1:34:31 🎧 · ▶️
10. 历史与逆向工程编解码器 — 1:45:42 🎧 · ▶️
11. 测试与手工汇编：dav1d 革命 — 2:02:14 🎧 · ▶️
12. Rust、安全汇编与 Libav 分叉 — 2:30:39 🎧 · ▶️
13. 开源倦怠与 x264 如何统治互联网视频 — 2:48:17 🎧 · ▶️
14. 压缩规模、YouTube 魔法与 CIA 假 VLC — 3:09:20 🎧 · ▶️
15. 超低延迟 Kyber 与 AV2／专利政治 — 3:26:52 🎧 · ▶️
16. 无后门、数字归档与多媒体的未来 — 4:11:04 🎧 · ▶️

分节详解

1) 开场：代码质量、手工汇编与拒绝后门 — 00:00 🎧 · ▶️

💬 他们说了什么： 冷开场即定调——社区只问「你的代码好不好」，不在乎你是谁、来自哪家大厂，甚至「你是狗也行」。Lex 把 FFmpeg 称为全球最大 CPU 消耗者之一；JB 抛出数量级：FFmpeg 全编解码器约 10 万行汇编，而仅 dav1d（AV1 软件解码器）就有约 24 万行手工汇编；Netflix 约 30%、YouTube 约 50% 视频已走 AV1，可能触及约 30 亿设备持续解码。「每周期都重要」。Kieran 的「巅峰编解码器」推文（约 79.9% 汇编 / 19.6% C）连年激怒「编译器自向量化就够了」一派。情报机构曾要求在 VLC 里加后门——JB：「不。」更不客气的版本：若被迫妥协，宁可关掉项目。

💡 为什么重要： 整集的价值坐标系提前钉死：卓越代码 > 身份；手工极致优化 > 抽象信仰；原则 > 金钱/权力。后续 Google 风波、Rust 争论、拒绝广告变现，都是这条坐标的展开。

⚡ 争议点： 「汇编必然碾压编译器」是否过度概括到其他领域？拒绝后门的「宁可关停」在国家安全叙事里会被攻击为不配合——但社区以用户信任为生存前提。

2) 赞助致辞与开源精神 — 03:00 🎧 · ▶️

💬 Lex 致谢：VLC 下载逾 60 亿次；戴着交通锥帽致敬；介绍 JB 与 Kieran（后者以 memes + 不道歉地庆祝底层工程闻名）。强调现代文明大量依赖「不追名利、痴迷工艺」的志愿工程师，以及跨国协作的开源基础设施。随后切入「VLC 能打开一切」的传说。

💡 把技术访谈抬升为对志愿公共品的公共致谢——也解释了为何后文对「大厂把 OSS 当供应商」的愤怒如此尖锐。

⚡ 英雄叙事是否掩盖了机构资助、基金会与企业贡献者的真实比例？本期后文用 Google/微软案例自我校正。

3) VLC 能打开的最怪东西 — 10:48 🎧 · ▶️

💬 怪异用例清单：采集卡录 VHS；控制部分录像机；暑期补 DVD-Audio（含定制加密，几乎无人再做）；游戏/冷门编解码器；某《星球大战》游戏片头十秒做到比特精确。VideoLAN 大会举办「最可怕文件」竞赛：Derek 的 MKV 每帧改分辨率/宽高比/旋转——VLC 仍能播；另有整段「动画字幕」充当画面；还有同时是合法 ZIP 与合法 MP3 的嵌套文件。

💡 「能播一切」不是营销口号，而是格式考古学 + 极端鲁棒性的工程文化；也为后文逆向工程与归档埋下情感动机。

⚡ 为极小众格式投入大量志愿时间，是否挤占安全修补资源？社区答案倾向：多样性与历史可播性本身是公共价值。

4) 按下播放后发生了什么 — 15:12 🎧 · ▶️

💬 管线分层：URL/路径 → 字节流（HTTP/file/DVD…）→ 容器 demux 切出音视频压缩帧 → 探测能否走 GPU 硬件解码（Kieran：约 45% 文件无法 GPU 解码，需软件回退；厂商能力还不同）→ 软件路径：熵解码（Huffman/算术）→ 帧内预测（I-frame，空间域）→ 残差在频域量化后反变换回空间域叠加。JB：视频压缩可达 100–200×（甚至目标 1000×），音频 MP3 约 10×；关键是为人眼/耳设计的有损——转 YUV（亮度+色度）匹配视杆/视锥，而非天真 RGB。

💡 给非专家一张「从文件到像素」地图，澄清压缩≠ZIP：是故意丢弃人眼不敏感细节的感知编码。

⚡ 「45% 不能 GPU」高度依赖语料与时代；硬件覆盖率上升后数字会变，但「必须探测回退」的架构教训不变。

5) 视频编解码器与容器 — 24:33 🎧 · ▶️

💬 编解码器目标：去掉空间/时间冗余，用数学工具压到 100–1000×，并保留抗误码、可中途加入流等属性（早期 VLC 播 UDP，丢包是常态）。编码远比解码重（一次编码、多次观看）。「冗余」例：镜头平移时背景可复用；纯色区域可引用邻块；跨帧运动补偿。算力与内存是上限：回看 200 帧 4K 做比较成本爆炸。编码/解码是成对规范。

💡 把「互联网为什么能播高清」还原为非对称计算交易——云端烧算力换带宽与终端电量。

⚡ 极致压缩是否与「档案级保真」冲突？后文归档章节会正面碰上。

6) FFmpeg 是什么：开源与视频赋权 — 35:20 🎧 · ▶️

💬 视频成为社交主媒介（Shorts/Reels/TikTok），复杂度被大众低估，却赋予全球个体表达力。开源类比「芝士蛋糕」：不仅给蛋糕，还给配方、烤箱造法，并允许改配方再卖。FFmpeg/VLC/x264/VideoLAN 全开源；FFmpeg 累计约 2000–3000 贡献者，类比 Linux 内核。云厂商「只卖 API、不回馈」曾逼 Mongo/Elastic 改许可证；FFmpeg 不能轻易改许可——贡献者成千、部分已故，需几乎全体同意。

💡 定义 FFmpeg 为「协议+实现+社区」的公共品，解释其法律僵硬性与道德刚性同源。

⚡ 宽松许可是否被云厂商系统性吸血？改许可派 vs 保持 copyleft/宽松传统派长期撕裂开源界。

7) 拒绝千万美元：VLC 起源与无广告原则 — 56:20 🎧 · ▶️

💬 JB 承认多次拒绝数千万美元级变现（可成海滩富翁），因认为不道德、且自己对「卖掉社区成果」缺乏正当性。VLC 起源故事：École Centrale Paris 校园由校友非营利与学生自治；1980s IBM/3Com Token Ring；1990s 游戏要低延迟，学校甩锅「校园不是我们的」——学生自建更快网络，引出 Network 2000（MPEG-2 over ATM，demo 45 秒内崩溃也无所谓）→ 后两名学生把局域网流媒体做成 VideoLAN，一路长成今日 VLC。原则：为大众做工具，而非最大化抽成。

💡 解释 VLC「无广告、无追踪、离线」品牌如何从校园自治实验长成全球默认播放器伦理。

⚡ 拒绝商业化是否可持续？后文承认核心团队极小（约 6–8 人）、法律几乎压在 JB 一人身上——崇高与脆弱并存。

8) FFmpeg 与 Google / 大厂激励错位 — 1:15:17 🎧 · ▶️

💬 风波：Google 用 AI 生成安全报告砸向处理不可信数据的 FFmpeg；资助有限；还先向媒体宣传「AI 多厉害」，再套行业标准 90 天公开时限——而漏洞在一个1990s 冷门游戏编解码器上。志愿修复者无奖金、无 DEF CON 光环（Alex Strange / Hacker News 吐槽）。后果：Google 开始更多送补丁、设修复向奖励；捐赠上升但仍不够养一个全职。JB：辣推文是小项目撬动 Android/Windows 商店的现实杠杆（曾扬言下架 Android VLC，约 1 亿用户才等到联系人）。微软 Teams 在志愿 bug 跟踪器点名「高优先级」、谈维护合同却只愿一次性几千美元——对照 XZ 供应链故事与「Nebraska 漫画」：整个多媒体栈压在少数维护者上。

💡 当代开源危机的教科书案例：发现漏洞的资本化 vs 修复漏洞的志愿化；社交媒体成为不对称权力的谈判工具。

⚡ 辣推是否伤害合作、还是唯一有效的注意力武器？Google「仍是 OSS 大金主」与「这次越界」如何同时成立？AI 扫漏洞是否应默认负责任披露节奏适配志愿项目？

9) 开发者文化与 VLC↔FFmpeg 双星系统 — 1:34:31 🎧 · ▶️

💬 Tim Sweeney：世上许多事只因「一个厉害的人决定去做」——VLC 即是。Linus 两周做出 Git。Kieran：VLC 之于 FFmpeg ≈ Android 之于 Linux——相互依存的双星；x264（H.264 开源编码器，VideoLAN 旗下）支撑「80%+」相关管线；VLC 给 FFmpeg 怪异样本、曝光与部分捐赠资金。Zig 作者 Andrew Kelley 曾是 FFmpeg 开发者——「FFmpeg 学校」以严酷代码审查著称。多媒体硬约束：约 16ms 一帧，丢帧会毁掉观感；必须懂流水线、SIMD、I/O、体系结构。FFmpeg 可能同时跑在数量级 1 亿–10 亿 CPU 上，每条指令都有全球能耗含义。

💡 纠正「单一明星项目」幻觉：生态是编码器+播放器+库群的共生；并论证为什么这里的工程品味极端。

⚡ 「个人英雄」叙事 vs 数千贡献者；双星类比是否低估其他播放器/云厂商自研栈。

10) 历史与逆向工程编解码器 — 1:45:42 🎧 · ▶️

💬 支持冷门/专有格式（如旧 GoToMeeting）是为了十年后在 Android/RISC-V 上仍能打开历史文件——「对人类异常有用」。逆向像考古：样本稀少、编解码器内部多工具集；Kieran 逆向 CineForm（后促进开源）靠碰巧找到「平坦块多」的动画样本起步；德国有人独自啃数量级更复杂的二进制。长期在内存里盲调：熵解码→帧内/运动预测→IDCT… 可能很久看不到正确画面；在数十 MB 二进制上逐条指令下断点。

💡 说明 FFmpeg「无所不能」的成本是高强度逆向劳动；也是数字遗产可及性的隐形成本。

⚡ 逆向专有编解码器的法律灰色地带（地区/DMCA 例外不同）；「为归档」能否覆盖所有商业风险。

11) 测试与手工汇编：dav1d 革命 — 2:02:14 🎧 · ▶️

💬 （测试章节衔接性能文化。）Alliance for Open Media 推 AV1 时，不少人（含成员公司）宣称「太复杂只能硬解」。JB 与 Ronald、Henrik、Martin 等写下 dav1d：约 3 万行 C + 24 万行手工汇编，口号 every cycle matters；一两个核即可顺畅 720p 软解，撑起硬件解码尚未普及的窗口。社区连年打脸「intrinsics/自向量化就够」；手工汇编可高出一个数量级。汇编巫师：Henrik Gramner（x86，Intel 有时反问「你有 Henrik 为什么问我们」）、Martin Storsjö（Arm/Neon，甚至在游乐场用手机虚拟键盘写汇编）。

💡 证明软件仍可在「必须上芯片」叙事下突围；也解释为何 FFmpeg 推文文化如此「冒犯」——数据打脸意识形态。

⚡ 巨量汇编的可维护性、人才梯队与安全面（任意跳转）——直接导入下一节 Rust 讨论。

12) Rust、安全汇编与 Libav 分叉 — 2:30:39 🎧 · ▶️

💬 JB：把 dav1d/x264 的 C 改写成 Rust 能提高安全，但性能仍依赖手工汇编——汇编可跳到任意内存，整份安全模型被打穿；真正需要的是编译期检查的「安全汇编」（类 checkasm 仪器化）。开源项目有时会分裂：FFmpeg 与 Libav 曾分家（社区政治/技术路线张力），最终生态重心仍回 FFmpeg 一侧（访谈作历史教训：分裂耗散志愿能量）。

💡 拒绝「换语言=换安全」的简单药方；在多媒体这种汇编密度极高的领域，安全与性能必须联合设计。

⚡ Rust 社区会反驳可用更少 unsafe/更好边界；Libav 史在不同当事人叙述中责任归属仍敏感。

13) 开源倦怠与 x264 如何统治互联网视频 — 2:48:17 🎧 · ▶️

💬 XZ 供应链攻击的前提是单人维护者被耗尽后交出权限；JB 现因他人倦怠接手大量库。FFmpeg/VLC 有约 10–15 核心开发者，已好过许多「一人库」。动机：把复杂技术变好用、追求「该死的好」而非凑合、大脑要有难题。x264：在 HD 兴起与 Core 2/Nehalem 算力窗口出现；关键转向视觉指标而非痴迷 PSNR（PSNR/均方误差倾向「处处一点点糊」）。蓝光与华纳等敢于在大厂流程里赌开源编码器；Kieran 仍偏好实体碟看高规格电影。软件环境里的 H.264 文件，很大概率出自 x264。

💡 连接微观倦怠与宏观「互联网视频默认编码器」——公共品质量由少数偏执工程师的审美锁定。

⚡ 视觉指标是否可被厂商游戏；流媒体「够好」经济学 vs 影碟「尽量好」文化。

14) 压缩规模、YouTube 魔法与 CIA 假 VLC — 3:09:20 🎧 · ▶️

💬 YouTube 难在双向：海量上传（含只有五人看的视频）也要近实时多分辨率分发——「网页版 VLC」。彩蛋：Google Video 曾用 ActiveX 嵌 VLC；今日相反，VLC/FFmpeg 可编译到 WebAssembly 在浏览器跑。WikiLeaks Vault 7：CIA 定制假 VLC（多一个 DLL，如 psapi.dll），读文档加密外传——利用「看片两小时、风扇狂转很正常」作掩护。VideoLAN 发声明：只从官网下载。印度曾因（滥用签名 DLL 的）攻击链短暂封禁 VLC，JB 打官司解禁。对策有限：用户必须认准分发渠道；搜索引擎帮不上忙。

💡 开源信任模型的阿喀琉斯之踵不在源码，而在二进制分发与供应链钓鱼。

⚡ 国家黑客利用开源品牌是否应倒逼代码签名/更新体系更重？离线无遥测原则与企业级管理需求如何并存？

15) 超低延迟 Kyber 与 AV2／专利政治 — 3:26:52 🎧 · ▶️

💬 Kyber：从文件转码→直播→再压到「闭环控制」——无人机、人形遥操作、云游戏、远程接管（Waymo 式）。一条基于 QUIC/UDP 的连接上复用音视频与键鼠/手柄指令，处理时钟漂移与多相机/多传感器同步（训练机器人模型需要可复现对齐）。专利：MPEG 常「先定格式、后组专利池」（MPEG LA 等）；HEVC 多池并行、部分厂商在外，授权贵到 HP 等考虑砍支持，头部流媒体可能面对数亿美元级成本。AV1/AV2 路线在标准化过程中更主动做专利清场——与 MPEG「专利勿谈」文化对照。

💡 指出下一代战场从「压缩比」转向交互延迟与专利可实施性；开源实现仍是谈判桌上的事实标准压力。

⚡ 免版税联盟是否真正免诉讼？遥操作 SDK 商业化与 VideoLAN 非营利伦理如何切分？

16) 无后门、数字归档与多媒体的未来 — 4:11:04 🎧 · ▶️

💬 （承接 3:54 后门与 4:04 归档。）VLC 从不按内容审查；完全离线、无遥测，政府无法查询「谁看了什么」。合作仅限技术支持（如警方损坏文件、驻阿军队 RTSP 片源士气需求）。核心约 6–8 人，法律几乎仅 JB；曾高压，现以「工具会被善用也会被滥用，但工具本身不背锅」与最坏情况推演保持平静。归档：磁带机头不够读完所有带，必须选择丢弃——数字人类史的伦理赌博；需要人人可播的开放格式，而非绑死过时硬件。未来：多媒体框架扩展到一切有时间轴的可感知信号——触觉、乃至脑机接口波形；经验曲线总是「多标准炒作→冷静→跟随者推动标准→实现落地」。对 Dolby 等封闭生态持批评：曾辉煌，但封闭损害互通。

💡 收束三条线——公民技术主权（无后门）、文明记忆（归档）、感官计算扩展（超视频）。末段 seek 15064s ≈ last_cue 的 97.5%，覆盖尾声。

⚡ 「工具中立」在极端内容/战争场景是否足够？归档选择权应在谁（国家档案馆、平台、社区）？脑机「标准」会不会重蹈专有格式覆辙？

金句

• 「我们在乎的是你的代码好不好。你是谁、从哪来，我们不在乎。」
• 「Every cycle matters.（每个时钟周期都重要。）」
• 「若必须妥协软件，我们就关掉它。」
• 「VLC 之于 FFmpeg，就像 Android 之于 Linux——双星系统。」
• 「发现漏洞的人拿奖金上 DEF CON；修好漏洞的志愿者也许什么都没有。」（转述激励错位）
• 「我们把极端复杂的技术，变成普通人能用的东西。」

来源

• 原集：lexfridman.com
• YouTube
• EN 转写：lexfridman.com
• 音频
• 分析基于官方章节 + Lex 官网人工转写 cues；未创建中文全文转写页。