kimi-k2模型配置参数

最新推荐文章于 2025-07-23 06:08:34 发布

亲持红叶

最新推荐文章于 2025-07-23 06:08:34 发布

阅读量729

点赞数 3

CC 4.0 BY-SA版权

分类专栏： LLM相关文章标签： kimi-k2

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/hbkybkzw/article/details/149370789

LLM相关专栏收录该内容

21 篇文章

订阅专栏

kimi-k2模型配置参数

上周kimi推出了万亿级 MoE 大模型 kimi-k2，感觉上一次kimi爆火还是在24年年初200万长上下文的时候，不过着实比较好奇现在都在卷后训练的时代，为什么kimi还是“敢为天下之后”，继续在卷预训练，而且是万亿级别参数的预训练模型？如果你也对此有兴趣，可以看看官方的相关技术博客，目前论文还没出来。

github:

https://moonshotai.github.io/Kimi-K2/

微信公众号：

https://mp.weixin.qq.com/s/2RPmHf_8KqIjXbY5jLdztQ

其设计目标有高容量、激活稀疏、推理高效、model as agent等等，反正情况就是这么个情况，具体什么情况，那还得看接下来的情况。。。。。。
官方的模型概要如下，接下来来看看kimi-k2模型的配置参数 config.json

1. 基础信息

字段	含义
`"model_type": "kimi_k2"`	固定标识，告诉 transformers 库“这是 Kimi K2 系列”。
`"architectures": ["DeepseekV3ForCausalLM"]`	代码里复用了 DeepSeek-V3 的建模类，但内部参数已按 K2 需求改动。
`"vocab_size": 163840`	tokenizer 词表大小（含 163584 个普通词 + 256 个预留控制符）。
`"bos_token_id": 163584` / `"eos_token_id": 163585`	起始/结束符的 ID。

2. 规模与稀疏结构（MoE）

字段	值	备注
`n_routed_experts`	384	总共 384 个“路由专家”，每次推理只激活其中 8 个（见下一行）。
`num_experts_per_tok`	8	Top-8 专家参与当前 token 计算。
`moe_layer_freq`	1	每隔 1 层就出现一个 MoE 层（即“层层 MoE”）。
`n_shared_experts`	1	除路由专家外，还有 1 个始终激活的共享专家。
`moe_intermediate_size`	2048	每个专家的 FFN 中间维度（注意：不是 dense 层的 18432）。

3. Dense Transformer

字段	值	解释
`num_hidden_layers`	61	共 61 层。
`hidden_size`	7168	模型维度 d_model。
`intermediate_size`	18432	非 MoE 层（即 dense 层）的 FFN 升维后大小。
`first_k_dense_replace`	1	第 0 层是 dense 层（其余层按 `moe_layer_freq` 决定）。
`num_attention_heads`	64	多头注意力头数。
`num_key_value_heads`	64	GQA 未启用（= 头数，等价于 MHA）。

4. 注意力机制细节

字段	值	说明
`qk_nope_head_dim`	128	Q/K 中无位置编码部分的维度。
`qk_rope_head_dim`	64	RoPE 位置编码附加维度 → 单头总维度 128+64=192。
`v_head_dim`	128	V 头维度。
`attention_dropout`	0.0	推理阶段关闭 dropout。
`attention_bias`	false	Q/K/V 投影均不带 bias（节省显存）。

5. 长上下文与 RoPE 缩放

字段	值	说明
`max_position_embeddings`	131072	官方支持 128 K 上下文（留一点余量）。
`rope_theta`	50000	基础 RoPE 频率。
`rope_scaling.type`	“yarn”	使用 YaRN 继续外推到 128 K。
`rope_scaling.factor`	32	外推因子 = 32（4096×32≈131 K）。

6. 路由与负载均衡

字段	值	作用
`topk_method`	“noaux_tc”	无辅助 loss 的 top-k 路由，降低实现复杂度。
`norm_topk_prob`	true	对 top-k 专家的原始 logits 做 softmax 后再加权。
`aux_loss_alpha`	0.001	辅助 loss 权重（极小值，仅作专家负载均衡）。
`seq_aux`	true	在序列级别计算辅助 loss，进一步平滑专家分配。

7. 量化与数值精度

字段	值	说明
`quantization_config.quant_method`	“fp8”	官方开源权重使用 FP8量化。
`weight_block_size`	[128,128]	权重按 128×128 块量化。
`torch_dtype`	“bfloat16”	推理时可用 bfloat16 反量化运行。

8. 其他零碎但常用的字段

字段	值	提示
`hidden_act`	“silu”	激活函数SiLU(即SwiGLU $\beta=1$ )。
`rms_norm_eps`	1e-6	RMS 的 $\epsilon$ 值。
`initializer_range`	0.02	参数初始化标准差。
`tie_word_embeddings`	false	词嵌入与 LM Head 不共享权重（总参数量更大）。
`use_cache`	true	默认启用 KV-Cache 以加速生成。

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。