Qwen3的转换支持么？

[Kathrine94]

请问Qwen3的转换支持么？目前用Qwen2的转换代码试了一下，Qwen3转换前后的ppl差异非常大，转换前的ppl是8点几，但转换后的ppl有5w多。如果转Qwen3的话需要做哪些修改？

[JSYRD]

我也一样用Qwen2的转换代码试了一下，转化后的ppl也是5w多，正在尝试换不同的参数，你有什么新进展吗

[EricLingRui]

qwen3的转换应该变化比较大， 肯定不能复用该代码。
因为qwen3 的 Q、K多一个RMSNorm , 提取出的正交矩阵U 不容易被W_k吸收，原因如下：
U⋅RMSNorm(Wk⋅ x) ! = RMSNorm(U⋅Wk⋅x)

[JSYRD]

qwen3的转换应该变化比较大， 肯定不能复用该代码。 因为qwen3 的 Q、K多一个RMSNorm , 提取出的正交矩阵U 不容易被W_k吸收，原因如下： U⋅RMSNorm(Wk⋅ x) ! = RMSNorm(U⋅Wk⋅x)

大概是的，我自己有尝试修改代码添加缺失的组件，但是似乎没有成功。ppl从5w多降到2000多。
我看到作者的知乎文章 https://zhuanlan.zhihu.com/p/1899780517433421976 的评论区有人提到了这个问题，作者的回答是“qwen-3多了一个head wise qknorm，需要稍微改进一下实现，这个腾出手的时候就会支持。”

[EricLingRui]

qwen3的转换应该变化比较大， 肯定不能复用该代码。 因为qwen3 的 Q、K多一个RMSNorm , 提取出的正交矩阵U 不容易被W_k吸收，原因如下： U⋅RMSNorm(Wk⋅ x) ! = RMSNorm(U⋅Wk⋅x)

大概是的，我自己有尝试修改代码添加缺失的组件，但是似乎没有成功。ppl从5w多降到2000多。 我看到作者的知乎文章 https://zhuanlan.zhihu.com/p/1899780517433421976 的评论区有人提到了这个问题，作者的回答是“qwen-3多了一个head wise qknorm，需要稍微改进一下实现，这个腾出手的时候就会支持。”

我认为2000多的PPL已经算比较低了。 请问你补充了哪些组件？

[JSYRD]

qwen3的转换应该变化比较大， 肯定不能复用该代码。 因为qwen3 的 Q、K多一个RMSNorm , 提取出的正交矩阵U 不容易被W_k吸收，原因如下： U⋅RMSNorm(Wk⋅ x) ! = RMSNorm(U⋅Wk⋅x)

大概是的，我自己有尝试修改代码添加缺失的组件，但是似乎没有成功。ppl从5w多降到2000多。 我看到作者的知乎文章 https://zhuanlan.zhihu.com/p/1899780517433421976 的评论区有人提到了这个问题，作者的回答是“qwen-3多了一个head wise qknorm，需要稍微改进一下实现，这个腾出手的时候就会支持。”

我认为2000多的PPL已经算比较低了。 请问你补充了哪些组件？

partialrope原封不动地保留q_norm和k_norm，然后修改forward方法：

    def forward(
...

        # [MODIFIED]
        query_states = self.q_proj(hidden_states)
        key_states = self.k_proj(hidden_states)
        value_states = self.v_proj(hidden_states)

        query_states = query_states.view(bsz, q_len, self.num_attention_heads, self.head_dim)
        query_states = self.q_norm(query_states)

        key_states = key_states.view(bsz, q_len, self.num_key_value_heads, self.head_dim)
        key_states = self.k_norm(key_states)
        # [MODIFICATION OVER]

然后calibration的时候的钩子函数：
https://github.com/fxmeng/TransMLA/blob/cd700ce31a7194f717202ee1bbc0583cdf8f02b4/transmla/utils.py#L296-L302

改到norm上；

最后到，loraqkv只保留q_norm，同样地修改forward方法，：

    def forward(
...
        query_states = query_states.view(bsz, q_len, self.num_attention_heads, -1).transpose(1,2)
        q_nope, q_rope = query_states.split([self.head_dim, self.qk_mqa_dim], dim=-1)

        # [MODIFIED]
        q_nope = self.q_layernorm(q_nope)
        # [MODIFICATION OVER]

大概就是这样，而且我感觉2000多还是非常高，所以就没有再尝试别的方法了。

[Silencioo]

+1