详情

各人首个端侧全模态意会开源模子来了！

在菜单里帮衬选奶茶，不在话下：

还能帮衬精真金不怕火提真金不怕火长语音，再也无须对着一串几十秒语音头皮发麻（doge）。

就在刚刚，无问芯穹通告开源当今寰宇上首个端侧全模态意会的开源模子Megrez-3B-Omni，不仅体积轻巧，速率赶快，更是一个多艺多才的万能选手，粗略精真金不怕火处理图片、音频、文本三种模态数据。

在稠密测评基准中，Megrez-3B-Omni在图片、文本、音频三个模态中均取得了同尺寸下最优性能。四肢一个 3B 模子，空洞性能进展致使能高出 34B 模子。

具体来说，Megrez-3B-Omni 遴荐了专为手机、平板等端侧开导量身定制的 30 亿参数黄金尺寸，骨干收罗参数限制更是仅有 2.3B，精度超越了上一代 14B 模子，最大推理速率更是比同精度模子快达 300%。

所有来看更多工夫细节 ~

图像意会

在图像意会方面，Megrez-3B-Omni 四肢一个体积仅为 3B 的模子，其空洞性能进展不错全面高出 34B 的硕大无比，是当今 OpenCompass、MME、MMMU、OCRBench 等多个主流测试集上精度最高的图像意会模子之一。

与此同期，Megrez-3B-Omni 在场景意会、OCR等任务上也具有考究进展，粗略准确洞悉和分析淘气比例尺寸图像中的场景推行，并高效地从中索要文本信息，且无论是腌臜的印刷体依然复杂的手写字，齐粗略精真金不怕火识别。

不仅能意会手机屏幕上的信息，给定要求缓助商品挑选。

读取手写字体，雷同精真金不怕火处罚：

文本意会

在文本意会方面，四肢全模态意会模子，Megrez-3B-Omni 在莫得殉难模子的文本处理才气的前提下，将上一代 14B 大模子的优秀才气压缩至 3B 限制，显耀缩小了计较资本、进步了计较着力。

在 C-EVAL、MMLU/MMLU Pro、AlignBench 等多个巨擘测试集上更是取得端上模子最优精度，在文本意会方面开发了各人最初地位。同期，以更少的资源滥用，罢了了更高的性能输出，为端侧开导的智能化提供了进一步破损精度与速率领域的全新可能。

de 个 Bug，顺利：

紧要处理备忘录中的贵府，也没问题：

音频意会

在语音意会方面，Megrez-3B-Omni 的成果并排行业主流决策。Megrez-3B-Omni 不仅守旧汉文和英文的语音输入，还粗略处理复杂的多轮对话场景，更能守旧对输入图片或笔墨的语音发问。

用户就淘气模态推行，发出语音提醒，Megrez-3B-Omni 就能凭据语音提醒顺利反应文本，罢了多轮对话中语音与文本输入的摆脱切换，让用户不错通过更少动作与模子伸开更直不雅、当然的交互。

碰到客户的超长语音连击也不怕了：

守旧语消息图，还能听口令写小作文：

推理着力高，应用场景纯真

模子的限制并不是决定其速率的唯孤单分，因此模子小并不一定就意味着速率快。凭借对硬件特质的深刻意会与讹诈，Megrez-3B-Omni 通过软硬件协同优化计策，确保了各参数与主流硬件高度适配，以罢了硬件性能的讹诈最大化。

与上一代偏执他端侧谣言语模子比拟，单模态 LLM 版块的 Megrez-3B-Instruct 在推理速率上取得了显耀进步，最大推理速率不错最初同精度模子 300%。

Megrez-3B-Instruct 此次还相配提供了WebSearch功能，这一功能使得模子粗略智能地判断何时需要调用外部器具进行网页搜索，缓助修升引户的问题。用户得以构建属于我方 AI 搜素，通过收罗获得最新信息，克服小模子的幻觉问题和常识储备不及的局限。

随机，模子通过搜索网页不错更全面地完成修起，而其他时刻，模子本人已具备实足的常识来寂然解决问题，过多的搜索调用可能会缩小推理速率和成果。Megrez-3B-Instruct 通过在搜索和对话之间智能切换，幸免了过度依赖搜索或十足不调用搜索的问题。除了不错自动决策器具调用时机以外，Megrez-3B-Instruct 还具备高下文意会性能优异、可提供带参考信息的结构化输出等上风。

当今，这些才气已集成于 Megrez-3B-Instruct 模子中，用户不错通过 System Prompt 摆脱切换，同期享受到高精度模子推理才气与智能 WebSearch 调用收益。

One More Thing

相较于云霄大模子，端侧模子需要在资源有限的开导上快速部署、高效运转，对缩小模子计较和存储需求建议更高要求。

无问芯穹工夫团队源起于清华大学电子工程系 NICS-EFC 实验室，在模子压缩、推理加快及硬件能耗优化等领域领有深刻的学术究诘和深厚的工程履行教导，恰是模子轻量化、软硬件协同优化领域的顶尖团队。

无问芯穹默示，Megrez-3B-Omni 是一个才气预览，接下来还将捏续迭代 Megrez 系列，进步自动化水平至" edge device use "成果，让用户只需要给出浅薄的语音提醒，就可完成端开导的设立或应用操作，并将它四肢"端模子 + 端软件 + 端 IP "端上智能一体化解决决策的紧要组成推向阛阓。当今，无问芯穹就该一体化决策已与多家知名智能开导和末端芯片厂商伸开和洽。

在这个决策中，除端侧全模态意会模子外，还有端上推理软件和 IP 运筹帷幄决策，不仅守旧 CPU、GPU 和 NPU 的同期推理，更能通过向上软硬件端倪的系统优化，至极带来最高可达 70% 的性能进步，最大化端侧硬件性能的讹诈。

对那些久困于功耗、速率、续航以及智能成果的端侧开导来说，这意味着，成果更佳的智能升级成为可能。

Github：  https://github.com/infinigence/Infini-Megrez

HuggingFace：https://huggingface.co/Infinigence/Megrez-3B-Omni

登录 Infini-AI 异构云体验纯话语版块 Megrez-3B-Instruct：https://cloud.infini-ai.com/genstudio/model/mo-c73owqiotql7lozr

—  完  —

点这里� � 柔软我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再会 ~