infer_flashvsr_v1.1_tiny_long_video某个视频推理到一半报错

[liyuanqi123]

用infer_flashvsr_v1.1_tiny_long_video.py推理长视频，测试了十几个视频，结果都正常，
但有一个视频，固定推理到某步报错，应该怎么解决？

56%|██████████████████████████████████████████████████████████████▏ | 510/918 [07:45<06:12, 1.09it/s]
Traceback (most recent call last):
File "/home/liyuanqi/project/FlashVSR/infer_flashvsr_v1.1_tiny_long_video.py", line 287, in
main()
File "/home/liyuanqi/project/FlashVSR/infer_flashvsr_v1.1_tiny_long_video.py", line 257, in main
video = pipe(
^^^^^
File "/home/liyuanqi/miniconda3/envs/flashvsr/lib/python3.11/site-packages/torch/utils/_contextlib.py", line 116, in decorate_context
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
File "/home/liyuanqi/project/FlashVSR/diffsynth/pipelines/flashvsr_tiny_long.py", line 394, in call
noise_pred_posi, pre_cache_k, pre_cache_v = model_fn_wan_video(
^^^^^^^^^^^^^^^^^^^
File "/home/liyuanqi/project/FlashVSR/diffsynth/pipelines/flashvsr_tiny_long.py", line 564, in model_fn_wan_video
x, last_pre_cache_k, last_pre_cache_v = block(
^^^^^^
File "/home/liyuanqi/miniconda3/envs/flashvsr/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/liyuanqi/miniconda3/envs/flashvsr/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/liyuanqi/project/FlashVSR/diffsynth/models/wan_video_dit.py", line 464, in forward
self_attn_output, self_attn_cache_k, self_attn_cache_v = self.self_attn(
^^^^^^^^^^^^^^^
File "/home/liyuanqi/miniconda3/envs/flashvsr/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
return self._call_impl(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/liyuanqi/miniconda3/envs/flashvsr/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
return forward_call(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/liyuanqi/project/FlashVSR/diffsynth/models/wan_video_dit.py", line 330, in forward
q = rope_apply(q, freqs, self.num_heads)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/home/liyuanqi/project/FlashVSR/diffsynth/models/wan_video_dit.py", line 269, in rope_apply
x_out = torch.view_as_real(x_out * freqs).flatten(2)
~~~~~~^~~~~~~
RuntimeError: The size of tensor a (64) must match the size of tensor b (42) at non-singleton dimension 3

望解答，谢谢！

[AdvancedHe]

应该是视频的帧数没有满足 8n+1 的要求

[zji996]

真正的问题是这个：

报错点在 RoPE 相位旋转处，把 q/k 的复数对与 freqs 相乘时，最后一维不一致：q/k 的每头维度/2 是 64，但 freqs 的最后一维只有 42。见 third_party/FlashVSR/diffsynth/models/wan_video_dit.py:265、330。
这个维度只和模型配置有关，与输入视频几乎无关，所以你换视频仍然会在同一处失败。
freqs 的构造来自 WanModel.init 里按 head_dim 预计算的三维 RoPE 切片之和（F/H/W 轴的份额相加）：third_party/FlashVSR/diffsynth/models/wan_video_dit.py:563、620–636 和 flashvsr_tiny_long.py:560–620。64 正常对应 head_dim=128（1536/12 或 5120/40），而 42 对应 head_dim=84（因为 84//3=28，三轴各一份 14+14+14=42）或“少了 F 轴那一份”（21+21=42）。
因此本质是：q/k 的 head_dim 是 128，但 freqs 的 head_dim/2 只有 42。成因通常是：
模型权重/配置与当前代码假设不一致，导致 WanModel.freqs 用了“另一套 head_dim”预计算（比如先前加载过不同变体/权重，或者状态字典转译给了不同 dim/num_heads）。
同一 worker 生命周期内，先后初始化过不同变体，dit.freqs 仍然指向旧 shape，而块推理在后续分块时继续引用它（flashvsr_tiny_long 的分段构造会从 dit.freqs[… ] 切）。
罕见的分配错误（比如人为修改了 SelfAttention 的 num_heads 或某处 patch 导致 dim/num_heads 不一致），让 q/k 的 head_dim 和 dit.freqs 的 head_dim 脱钩。

目前我已经拿GPT-5.1修好了，并且开源了一份方便使用的APP在：
https://github.com/zji996/FlashVSR-app

目前还在开发
内存占用问题也优化了，目前也就占个22g的样子，而且支持无限长视频

[duchengyao]

同样的问题，在第510（帧？）报错:

FlashVSR/diffsynth/models/wan_video_dit.py", line 269, in rope_apply
    x_out = torch.view_as_real(x_out * freqs).flatten(2)
                               ~~~~~~^~~~~~~
RuntimeError: The size of tensor a (64) must match the size of tensor b (42) at non-singleton dimension 3

[duchengyao]

真正的问题是这个：

报错点在 RoPE 相位旋转处，把 q/k 的复数对与 freqs 相乘时，最后一维不一致：q/k 的每头维度/2 是 64，但 freqs 的最后一维只有 42。见 third_party/FlashVSR/diffsynth/models/wan_video_dit.py:265、330。 这个维度只和模型配置有关，与输入视频几乎无关，所以你换视频仍然会在同一处失败。 freqs 的构造来自 WanModel.init 里按 head_dim 预计算的三维 RoPE 切片之和（F/H/W 轴的份额相加）：third_party/FlashVSR/diffsynth/models/wan_video_dit.py:563、620–636 和 flashvsr_tiny_long.py:560–620。64 正常对应 head_dim=128（1536/12 或 5120/40），而 42 对应 head_dim=84（因为 84//3=28，三轴各一份 14+14+14=42）或“少了 F 轴那一份”（21+21=42）。 因此本质是：q/k 的 head_dim 是 128，但 freqs 的 head_dim/2 只有 42。成因通常是： 模型权重/配置与当前代码假设不一致，导致 WanModel.freqs 用了“另一套 head_dim”预计算（比如先前加载过不同变体/权重，或者状态字典转译给了不同 dim/num_heads）。 同一 worker 生命周期内，先后初始化过不同变体，dit.freqs 仍然指向旧 shape，而块推理在后续分块时继续引用它（flashvsr_tiny_long 的分段构造会从 dit.freqs[… ] 切）。 罕见的分配错误（比如人为修改了 SelfAttention 的 num_heads 或某处 patch 导致 dim/num_heads 不一致），让 q/k 的 head_dim 和 dit.freqs 的 head_dim 脱钩。

目前我已经拿GPT-5.1修好了，并且开源了一份方便使用的APP在： https://github.com/zji996/FlashVSR-app

目前还在开发 内存占用问题也优化了，目前也就占个22g的样子，而且支持无限长视频

大佬能不能给本项目提个pr呀>_<