将端侧大模型进行到底-MiniCPM3-4B开源

面壁团队在端侧大模型这条路上走得越来越远。之前有文本模型MiniCPM-2B，后来是多模态的MiniCPM-V系列，今天又开源了最新的MiniCPM3-4B。能把端侧模型迭代到这个程度，确实让人眼前一亮。

这次发布的MiniCPM3-4B在效果上提升明显，直接超过了Phi-3.5-mini-Instruct，性能上可以跟Llama3.1-8B-Instruct、GLM-4-9B-Chat、Qwen2-7B-Instruct这类更大模型掰手腕，堪称小模型里的“卷王”。

简单梳理一下版本关系：MiniCPM-2B对应1.0版，MiniCPM-1B是2.0版，今天这个MiniCPM3-4B属于3.0版本，命名上比上一代大了一圈。

模型改进

从1.0到3.0，结构上的变化很关键，下面列一下核心差异：

• 位置编码：RoPE → RoPE → RoPE（这一项没变）
• 注意力机制：MHA → GQA → MLA（MLA正是DeepSeek-V2的核心创新，这下端侧也用上了）
• 词表大小：123K → 73K → 73K
• 模型层数：40 → 52 → 62
• 隐藏层节点：2304 → 1536 → 2560
• 最大长度：4K → 4K → 32K（上下文直接翻了8倍）
• 系统提示词：不支持 → 不支持 → 支持
• 工具调用和代码解释器：不支持 → 不支持 → 支持

除了基座模型本身，官方还同步发布了RAG套件：MiniCPM-Embedding模型和MiniCPM-Reranker模型，针对检索增强场景也提供了微调版MiniCPM3-RAG-LoRA模型，整套工具链很完整。

模型效果

在中文和英文的指令遵循、数据推理、代码能力以及工具调用上，MiniCPM3-4B都有不错的表现。

特别值得一提的是工具调用能力——在Berkeley Function Calling Leaderboard上，它甚至超过了Llama3.1-8B-Instruct、GLM-4-9B-Chat、Qwen2-7B-Instruct这些更大的模型，这个成绩对4B量级的模型来说相当难得。

长文档的“大海捞针”测试结果也是全绿，说明32K上下文窗口不是摆设，检索精度很扎实。

模型快速使用

直接上代码，加载和推理流程跟常见的HuggingFace接口一致，几分钟就能跑起来：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 模型加载
path = "openbmb/MiniCPM3-4B"

tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(path, torch_dtype=torch.bfloat16, device_map="cuda", trust_remote_code=True)

# 输入构造
messages = [
    {"role": "user", "content": "你知道刘聪NLP是谁吗？"},
]
model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda")

# 模型生成
model_outputs = model.generate(
    model_inputs,
    max_new_tokens=1024,
    top_p=0.8,
    temperature=0.9,
    repetition_penalty=1.1
)

# 模型解码
output_token_ids = [
    model_outputs[i][len(model_inputs[i]):] for i in range(len(model_inputs))
]

responses = tokenizer.batch_decode(output_token_ids, skip_special_tokens=True)[0]
print(responses)

整体来看，MiniCPM3-4B在端侧小模型这个方向上又往前推了一大步，尤其是支持32K上下文和工具调用，让它在实际场景里的可用性提升了不少。感兴趣的可以直接下载试试。