技术报告 / 阶段实验回顾
H3 音视频生成
推理优化
基线、性能与质量评估
围绕生成迭代、执行成本和整体流程效率，评估不同方案在速度、资源与生成质量之间的取舍。
| 6 组方案约 5.17 秒短视频对照 | 2 类任务15 秒 T2AV 与 I2AV | 8 项指标每类任务的视觉质量评估 |
从输入条件，联合生成音频与视频
H3 面向多模态理解与生成，支持生成带原生立体声音频的视频。本报告聚焦文本与图像两类条件下的推理效率。
| 任务 | 输入 | 输出 |
|---|---|---|
| T2AV · 文生音视频 | 文本提示词 | 视频 + 音频 |
| I2AV · 图生音视频 | 参考图像 + 文本提示词 | 视频 + 音频 |
推理流程：先将文本、图像等条件编码并组成输入序列；共享主干对音视频潜变量联合去噪；最后分别解码为视频帧与音频波形，生成同步音视频。
基线与实验设计
原始基线采用原始 H3 权重与基础推理流程。比较同时保留任务、输入和输出规格。
| 实验组 | 输入规模 | 输出规格 |
|---|---|---|
| 短视频 T2AV | 100 prompt × 5 seed 每方案 500 条 | 1344 × 768 · 124 帧 24 FPS · 5.1667 秒 |
| 长视频 T2AV | 50 prompt × 5 seed 每方案 250 条 | 1344 × 768 · 362 帧 24 FPS · 15.0833 秒 |
| 长视频 I2AV | 50 组图文 × 5 seed 每方案 250 条 | 1344 × 768 · 362 帧 24 FPS · 15.0833 秒 |
固定条件
主实验为单实例、batch 1、请求并发 1。加载和预热单列；正式样本保留首次形状编译等慢请求。
评测范围与口径
| 指标 | 起点与终点 |
|---|---|
| 服务端平均推理(s) | 从条件编码开始，至生成计算与音视频 VAE 解码完成；不含模型加载、预热和 MP4 编码 |
| 端到端平均耗时(s) | 从请求发起或原生生成调用开始，至 MP4 输出完成，包含推理、编码与输出 |
| 评测任务 | 指标组成 | 范围 |
|---|---|---|
| T2AV / VBench | 主体、背景一致性；运动平滑度、动态程度；美学、成像质量；场景、整体语义一致性 | 16 个维度中选 8 项 |
| I2AV / VBench-I2V | 主体、背景一致性；运动平滑度、动态程度；美学、成像质量；参考主体、参考背景保持 | I2V 的 9 个维度中选 8 项 |
这些指标覆盖画面质量、时序与运动，以及文本或图像条件保持，能够反映推理优化前后的主要质量变化；本阶段结合评测周期与计算预算，优先评估这八项。
围绕三个方向，协同降低生成成本
| 方向 | 核心思想 | 关注的效果 |
|---|---|---|
| 01精简生成流程 | 通过生成流程优化，减少重复计算。 | 降低生成计算开销 |
| 02降低执行成本 | 通过稀疏计算减少单次前向的计算量，并采用低精度计算与通信。 | 降低每次前向的计算与传输成本 |
| 03提高流程效率 | 使用面向 H3 的推理引擎，结合算子融合、预计算和并行调度，减少重复工作与等待。 | 提高整条推理管线的执行效率 |
六组推理配置对比
六组配置使用同一套 500 条输入，比较不同优化方案下的性能和质量。
| 方案 | 配置说明 |
|---|
共同思路
围绕“减少前向次数、降低单次前向成本、提高管线执行效率”组合优化：从生成流程优化出发，再结合专用推理引擎、稀疏注意力和低精度计算与通信，逐步缩短生成时间。
5.17 秒视频的平均推理耗时降至 1.559 秒
在本次 MI355X 完整方案对照中，极致加速平均推理耗时最短；相对原始基线约 20.70 倍。
| 方案 | 服务端平均推理(s) | 端到端平均耗时(s) | 相对基线推理倍数 |
|---|
生成流程和执行优化共同缩短了等待时间。推理耗时之外，音视频编码和输出仍占据固定开销。
质量变化需要按维度观察
不同方案在一致性、运动、画面质量和语义上各有变化；本次使用八项分数逐项对照。
| 指标 | 原始基线 | 快速生成 | 极速生成 | 引擎加速 | 综合加速 | 极致加速 |
|---|
综合加速在美学和整体语义一致性上分数较高；极致加速主体一致性高于基线，运动平滑度和动态程度低于基线。
主体、平滑度、动态程度各覆盖 145 条；背景、场景各 170 条；美学、成像、整体语义各 185 条。动态程度反映运动强弱，需结合稳定性与任务目标解释。
H200 短视频性能与质量
极致加速平均推理 1.613 秒，相对原始基线推理提速约 23.77 倍。
| 方案 | 服务端平均推理(s) | 端到端平均耗时(s) | 相对基线推理倍数 |
|---|
| 指标 | 原始基线 | 极速生成 | 综合加速 | 极致加速 |
|---|
短视频案例 1 / 2
短视频案例 2 / 2
扩展到 15 秒，平均推理 6.382 秒
相同 250 条输入、362 帧输出，极致加速相对同任务原始基线的平均推理提速约 25.20 倍。
| 方案 | 数量 | 服务端平均推理(s) | 端到端平均耗时(s) |
|---|
| 指标 | 原始基线 | 极致加速 | 分数差值 |
|---|
极致加速在主体一致性、美学与成像质量上提高，背景一致性、平滑度、场景及整体语义有所回落。输入完整原生视频评测；此处使用常规 VBench 采样，专门的长视频一致性仍需补充。完成耗时分别含 HTTP 下载 / 本地落盘。
引入图像条件，关注参考内容的保持
相同参考图、prompt 和 seed，极致加速平均推理 7.056 秒，相对同任务原始基线提速约 23.10 倍。
| 方案 | 数量 | 服务端平均推理(s) | 端到端平均耗时(s) |
|---|
| 指标 | 原始基线 | 极致加速 | 分数差值 |
|---|
参考主体、参考背景保持及成像质量分数提高；背景时序一致性、运动平滑度与动态程度下降。抽查仍有内容漂移、部分片尾变暗。I2V 参考保持和视频自身时序一致性属于不同指标。
15 秒 T2AV 效果展示
15 秒 I2AV 效果展示
现阶段最优方案：极致加速
极致加速在三类任务中，服务端平均推理提速约 20.70–25.20 倍；当前已测配置中推理耗时最短。
| 任务 | 视频时长 | 服务端平均推理(s) | 端到端平均耗时(s) | ||||
|---|---|---|---|---|---|---|---|
| 原始基线 | 极致加速 | 加速比 | 原始基线 | 极致加速 | 加速比 | ||
测试环境：8 × MI355X；1344 × 768、24 FPS。加速比为同任务原始基线耗时 ÷ 极致加速耗时。