模型采用int4量化 ,面壁V模模态后端配备6G内存,小钢型重新端端侧推理速度高达/s,磅上相比上一代模型提升33%,侧多超一发布就支持llama.cpp,面壁V模模态vllm推理 ,小钢型重新端和平精英科技助手支持多种语言 。磅上
实时视频理解、侧多超多图联合理解、面壁V模模态多图ICL视觉类比学习、小钢型重新端多图OCR等功能首次被放到端侧多模态模型中,磅上让模型能够更充分发挥端侧AI传感器丰富、侧多超贴近用户的面壁V模模态优势 ,能够理解拍摄视频时摄像头捕捉到的小钢型重新端文字、从多张收据照片中快速识别票面金额并计算总金额、磅上读取单张或多张表情包。

-V 2.6的单个token编码像素密度(token)是GPT-4o的两倍,得益于视觉token相对于上一代减少了30%,和平精英辅助器下载比同类模型减少了75%。
地址 :
地址 :
llama.cpp 、vllm部署教程地址:
系列开源地址 :
1. 单图像、多图像和视频理解 SOTA,以及与 GPT-4V 相当的设备上多模态性
新一代-V 2.6在仅8B参数的情况下,实现了与GPT-4V相当的综合性能,单图、多图、视频理解三大多模态核心能力全面超越GPT-4V,并在20B参数以下均实现了SOTA模型性能。
在知识压缩率方面,-V 2.6实现了最高的多模态大模型像素密度(Token)是GPT-4o的两倍。Token=编码像素数/视觉Token数 ,指的是单个Token所携带的像素密度 ,也就是图像信息密度,直接决定了多模态模型的实际运行效率 ,数值越大,和平精英辅助器软件模型运行效率越高 。
▲通过API收费法对闭源模型的token进行估算 ,结果显示-V 2.6是所有多峰模型中token最高的 。
1)单图:在权威综合评测平台上,单图理解能力超越1.5 Pro和GPT-4o mini。
2)多图像:在权威多图像评测平台Eval list上 ,-V 2.6的多图像联合理解能力达到SOTA开源模型,超越GPT-4V。
3)视频:根据权威视频评测平台Video-MME榜单显示,-V 2.6的视频理解能力已经达到端侧SOTA ,超越GPT-4V。
此外 ,在手机上,小米10 Pro 2.6的OCR性能实现开源+闭源模型SOTA ,延续并强化了小米10 Pro系列最强端侧OCR能力的传统优势 。
在幻觉测评榜上 ,本尊科技-V 2.6的和平精英辅助器(免费)多功能下载幻觉水平(幻觉率越低越好)已经优于GPT-4o、GPT-4V 3.5等多款商用型号 。
2.首次实现实时视频理解,快速概括视频中密集的文字信息
手机 、PC 、AR、机器人 、智能汽车等端侧设备上的摄像头 ,具备天然的多模态输入能力 ,因此相较于云端,端侧视频理解有其自身的优势 ,更贴近用户 、链路更短 、效率更高、隐私安全性更强。
-V 2.6首次让实时视频理解功能在终端上运行,在实时拍摄过程中能够精准识别摄像头捕捉到的场景中的文字 。
该模型还能快速概括长视频中的和平精英辅助器app关键信息 ,例如其视频OCR功能可以在不听到任何语音的情况下识别48秒天气预报视频中密集的文字,并给出不同视频片段中不同城市的详细天气描述 。
▲代码环境中复现结果
3.首次实现多张图片合并 ,可用于计算小额收据 、读取表情包
最新发布的-V 2.6首次将多图像联合理解、多图像ICL( few-shot )功能融入端侧模型,实现流畅的多图像多轮理解。
比如遇到日常记账或者报销 ,拍下多张收据交给-V 2.6 ,基于强大的OCR能力+CoT(思路链) ,不仅可以识别每张收据的金额,还能算出总金额 。
客户端的多模态复杂推理能力也被刷新 ,比如我们在官方的GPT-4V演示中就遇到了这个经典命题 :调整自行车座。这个问题对于人类来说很简单,但对于模型来说却非常困难 ,非常考验多模态模型的和平精英辅助器推荐复杂推理能力和对物理常识的掌握能力。
-V 2.6可以通过多图片
