内存就能跑！这个国产「小钢炮」，要让华为们的体验突破瓶颈

在这波AI浪潮中，面壁智能是国内少有选择AllIn端侧模型的头部大模型厂商。

自从面壁智能2月份发布性能小钢炮1.0后，接连几月陆续迭代升级，其中后续推出的开源模型MiniCPM-Llama3-V2.5更是因为强悍的实力遭到了斯坦福AI团队的抄袭。

四月份，面壁智能CTO曾国洋还曾预言，GPT-3.5级别的模型将在一两年内就能在移动设备上运行。

好消息是，不用再等一到两年了，因为今天发布的MiniCPM3.0实现了初代小钢炮发布时立下的Flag：今年内让GPT-3.5水平的模型在端侧跑起来。

仅4B参数，以小博大，性能超越GPT-3.5，MiniCPM3.0也标志着「端侧ChatGPT」时刻的到来。

简单来说就是，MiniCPM3.0的面世意味着用户未来能体验到快速、安全、且功能丰富的本地AI服务，无需依赖云端处理，以及获得更流畅、更私密的智能交互体验。

从官方分享的基准测试来看，MiniCPM3.0在CMMLU、CEVAL等考究中文能力的基准测试中一骑绝尘，轻松碾压Phi-3.5、以及GPT-3.5等模型。

而即便是对上了8B、9B等国内优秀的大模型，MiniCPM3.0的表现同样相当出众。

简单总结一下MiniCPM3.0的特点：

无限长文本，榜单性能超越Kimi端侧最强Functioncall，性能比肩GPT-4o超强的RAG外挂三件套，中文检索、中英跨语言第一无限长文本，性能超越Kimi

小而强、小而全，或许是MiniCPM3.0最贴切的形容词。

上下文长度是衡量大模型基础能力的一项重要特性，更长的上下文长度意味着模型能够存储和回忆更多的信息，从而有助于模型更准确地理解和生成语言。

举例来说，更长的上下文长度能够让一个AI写作工具根据用户之前写的内容提供更相关的建议，或者根据更多的背景信息创作出更复杂、更引人入胜的故事。

为此，面壁提出了LLMxMapReduce长本文分帧处理技术。

这是一种通过将长上下文切分为多个片段，让模型并行处理，并从不同片段中提取关键信息，汇总最终答案，实现无限长文本。

据悉，这一技术普遍增强了模型处理长文本的能力，且在文本不断加长的情况，仍保持稳定性能、减少长文本随加长掉分情况。

▲LLMxMapReduce技术框架图

从32K到512K，MiniCPM3.0能够打破大模型记忆的限制，将上下文长度无限稳定拓展，用面壁官方的话来说就是「想多长就多长」。

从大模型长文本的基准测试InfiniteBench结果来看，随着文本长度的增加，4B参数的MiniCPM3.0的性能优势反而愈发明显。

InfiniteBenchZh.QA评测结果显示，4B参数的MiniCPM3.0整体性能优于Kimi，在更长的文本上显示出相对更强的稳定性。

端侧最强Functioncall，性能比肩GPT-4o

在接受APPSO等媒体的采访时，曾国洋也表示，MiniCPM3.0针对用户关注的一些能力进行了提升，比如加入了完整的systempromptFunctionCalling和codeinterpreter等能力。

其中FunctionCalling（函数调用）能够将用户模糊化的输入语义转换为机器可以精确理解执行的结构化指令，并让大模型连接外部工具和系统。

具体来说，通过语音在手机上调用日历、天气、邮件、浏览器等APP或相册、文件等本地数据库，从而打开终端设备Agent应用的无限可能，也让人机交互更加自然和方便。

据介绍，MiniCPM3.0宣称拥有端侧最强FunctionCalling性能，在BerkeleyFunction-CallingLeaderboard榜单上，其性能接近GPT-4o，并超越Llama3.1-8B、Qwen-2-7B、GLM-4-9B等众多模型。

曾国洋表示，现有的开源模型在这些能力上的覆盖并不全面，通常只有一些云端的大型模型能够完全覆盖这些能力。现在，MiniCPM3.0也实现了一些相应的功能。

以RAG（检索增强生成）为例，这是一种结合了信息检索（IR）和自然语言生成（NLG）的技术。

它通过从大规模文档库中检索相关信息来指导文本的生成过程，能够提升模型在回答问题、生成文本等任务中的准确性和可靠性，减少大模型的幻觉问题。

对于法律、医疗等依赖专业知识库、对大模型幻觉容忍度极低的垂直行业来说，大模型 RAG在行业中尤其实用。

MiniCPM3.0一口气上线了RAG三件套：检索模型，重排序模型和面向RAG场景的LoRA插件。

MiniCPM-Embedding（检索模型）中英跨语言检索取得SOTA性能，在评估模型文本嵌入能力的MTEB的检索榜单上中文第一、英文第十三。

MiniCPM-Reranker（重排序模型）在中文、英文、中英跨语言测试上取得SOTA性能。

经过针对RAG场景的LoRA训练后，MiniCPM3.0-RAG-LoRA在开放域问答（NQ、TQA、MARCO）、多跳问答（HotpotQA）、对话（WoW）、事实核查（FEVER）和信息填充（T-REx）等多项任务上的性能表现，超越Llama3-8B和Baichuan2-13B等业内优秀模型。

模型应用落地，先跑起来再说

在接受APPSO等媒体的采访时，面壁智能CEO李大海提到，能跑起来和真正流畅地去做应用是两个不同的概念。

而经过优化后的MiniCPM3.0对端侧设备的资源需求很低，量化后仅需2.2G内存，iPad端侧推理也能达到18-20tokens/s。

对于iPad这样的移动设备来说，每秒能够处理18-20个token的速度已经意味着模型能够实时处理自然语言输入。

比如在语音识别或实时翻译应用中，用户基本不会感受到明显的延迟，享受到相对流畅的交互体验。

另外，相较于云端模型，作为端侧模型的面壁小钢炮MiniCPM系列模型还天然具有弱网、断网可用、超低时延、数据隐私安全等本地优势。

在贡嘎雪山附近游玩时，想知道欣赏「日照金山」的最佳姿势，网络不佳的你可以向MiniCPM3.0发出提问。

又或者，如果你是「赶海」的新人，站在波涛汹涌的海岸边，却想要满载而归，那不妨可以遵循MiniCPM3.0给出的建议。当你抬头仰望夜空时，萌生了捕捉星轨的念头，MiniCPM3.0也能给你将拍摄的细节娓娓道来。

MiniCPM小钢炮系列飞速进步的背后是一以贯之的高效大模型第一性原理。

面壁智能首席科学家刘知远曾提出一个大模型时代的「摩尔定律」，即大模型的知识密度平均每8个月将提升一倍。

知识密度=模型能力/参与计算的模型参数

具体来说，随着模型知识密度的持续增强，2020年GPT-3175B能力到2024年MiniCPM2.4B模型即可达到，2022年底ChatGPT首次亮相内置的GPT-3.5到2024年MiniCPM3.0模型即可达到。

基于此，如果说MiniCPM追求的是极致端侧性能表现，那么MiniCPM-V追求的是极致多模态创新表现，面壁小钢炮的进步不是单方面的进步，而是端侧双旗舰的齐头并进。

经过一两年的技术摸索，AI大模型正逐步进入落地应用的深水区。

李大海认为，内存就能跑！这个国产「小钢炮」，要让华为们的体验突破瓶颈大模型具有两个大方向的价值，一个方向的价值叫做升级旧世界，第二个方向的价值则是发现新大陆。

比如苹果整合ChatGPT服务到AppleIntelligence中便是一个典型的例证。

端侧模型也是如此，通过在手机、汽车还有PC这样的场景里面，更适合做的事情是去服务好终端的厂商，然后让终端厂商因为有了端侧模型，整个系统层级的体验也变得更好。

只不过，在技术到产品的惊险一跃中，厂商也需要投入大量时间来融合用户需求与技术。

正如李大海所言，尽管移动互联网自iPhone问世以来就已经存在，但真正大规模增长和被验证的应用确实是数年后才开始涌现。

实际上，面壁智能也一直在探索落地应用的场景。

此前，面壁小钢炮MiniCPM端侧模型已经在PC、平板、手机等领域上实际运行。

前不久，面壁智能也在WAIC上联手加速进化机器人，打造出完整「具身智能」的先驱方案，这也是业界首个高效端侧模型运行在人形机器人的演示，理解、推理、并与物理世界互动的智能系统。

李大海也向APPSO等媒体剧透，预计在年底前将会有配备面壁智能端侧模型的产品上市。

简言之，面壁智能不断将高效高性能大模型放到离用户最近的地方，让大模型的能力像电力一样被随意调用、无处不在、普适且安全。

在这个过程，更多的人也能尽快地享受到大模型的价值和作用。

MiniCPM3.0开源地址：

GitHub:

🔗https://github.com/OpenBMB/MiniCPM

HuggingFace:

🔗https://huggingface.co/openbmb/MiniCPM3-4B