今天和大家分享一个专门为视觉语言理解而设计的多模态大语音模型(LLM)MiniCPM-V,这个软件可以识别总结视频和图片的内容,并根据你的提问,回答关于这个视频或图片的相关问题,可持续提问对话,本软件为免费开源应用,原项目地址:https://github.com/OpenBMB/MiniCPM-V,效果演示如下:
官方介绍:
MiniCPM-V是一系列专为视觉语言理解而设计的多模态 LLM(MLLM)。该模型以图像、视频和文本作为输入,并提供高质量的文本输出。自 2024 年 2 月以来,我们已发布了 5 个版本的模型,旨在实现强大的性能和高效的部署。该系列中目前最值得关注的模型包括:
- MiniCPM-V 2.6:🔥🔥🔥 MiniCPM-V 系列中最新、最强的模型,共 8B 参数,在单图、多图、视频理解上超越 GPT-4V,在单图理解上超越GPT-4o mini、Gemini 1.5 Pro 和 Claude 3.5 Sonnet,并推进了 MiniCPM-Llama3-V 2.5 的强大 OCR 能力、可信任行为、多语言支持、端侧部署等特性。由于优越的 token 密度,MiniCPM-V 2.6 首次可以在 iPad 等端侧设备上支持实时视频理解。
- MiniCPM-V 2.0:MiniCPM-V 系列中最轻量级的型号,2B 参数,整体性能超越 Yi-VL 34B、CogVLM-Chat 17B、Qwen-VL-Chat 10B 等较大型号,可接受任意长宽比、最大 180 万像素(如 1344×1344)的图像输入,在场景文本理解方面达到与 Gemini Pro 相当的性能,在低幻觉率方面与 GPT-4V 相当。
我打包版本为Windows电脑版,不支持手机和mac,有CPU和GPU两个运行方式,有需要的可以自己去测试。
AI视频图片聊天对话软件MiniCPM-V一键启动版下载: