行业主要上市公司：阿里巴巴 ( 09988.HK，BABA.US ) ; 百度 ( 09888.HK，BIDU.US ) ; 腾讯 ( 00700.HK开yun体育网， TCEHY ) ;科大讯飞 ( 002230.SZ ) ;万兴科技 ( 300624.SZ ) ;三六零 ( 601360.SH ) ;昆仑万维 ( 300418.SZ ) ; 云从科技 ( 688327.SH ) ;拓尔念念 ( 300229.SZ ) 等

多模态大模子类型及详细对比

视觉 + 说话的多模态大模子当今主流步调是：借助预历练好的大说话模子和图像编码器，用一个图文特征对皆模块来麇集，从而让说话模子通晓图像特征并进行更深层的问答推理。这么不错诈欺已有的多数单模态历练数据历练获得的单模态模子，减少关于高质地图文对数据的依赖，并通过特征对皆、指示微调等方式买通两个模态的表征。

多模态大模子类型 -CLIP

CLIP 是 OpenAI 提议的麇集图像和文本特征默示的对比学习步调。CLIP 是诈欺文本信息历练一个不错终了 zero-shot 的视觉模子。诈欺预历练好的收罗去作念分类。具体来说，给收罗一堆分类标签，比如 cat，dog，bird，诈欺文本编码器获得向量默示。然后分歧计较这些标签与图片的余弦不异度 ; 最终不异度最高的标签便是瞻望的分类抵制。论文提到，比较于单纯地给定分类标签，给定一个句子的分类恶果更好。比如一种句子模板 A photo of a.，背面填入分类标签。这种句子模板叫作念 prompt ( 请示 ) 。句子模板的聘任很有端庄，还专诚计议了 prompt engineering，测试了许多种类的句子模板。请示信息有多种，下图不错看到它用不同的类别替换一句话中不同的词，变成不同的标签。

多模态大模子类型 -Flamingo

Flamingo 是一门多模态大型说话模子 ( LLM ) 于 2022 年推出。视觉和说话组件的责任旨趣如下：视觉编码器将图像或视频调度为镶嵌 ( 数字列表 ) 。与 CLIP 不同，Flamingo 不错生成文本反应。随意化的角度来看，Flamingo 是 CLIP + 说话模子，并添加了本事，使说话模子大致字据视觉和文本输入生成文本标识。Flamingo 的 4 个数据集：2 个 ( 图像、文本 ) 对数据集、1 个 ( 视频、文本 ) 对数据集和 1 个交错的图像和文本数据集。

多模态大模子类型 - BLIP

BLIP ( Bootstrapping Language-lmage Pretraining ) 是由 Salesforce 在 2022 年提议的多模态预历练模子，它旨在颐养视觉说话任务的通晓与生成才气，并通过对噪声数据的处理来提高模子性能口。BLIP 的翻新主要有两个方面：与 CLIP 比较，BLIP 不仅处理图像和文本的对皆问题，还旨在惩办包括图像生成、视觉问答和图像描述等更复杂的任务。BLIP 接纳了"指引学习"的方式，通过自监督的方式来增强模子对说话和视觉信息的通晓。这些特色使其在处理图像和文本数据方面展现了不凡的性能，成为繁多范畴惩办复杂问题的弘远器用。

多模态大模子类型 -LLaMA

使用视觉编码器 CLIP ViT-L/14+ 说话解码器 LLaMA 组成多模态大模子，然后使用生成的数据进行指示微调。输入图片 X 经由与历练好的视觉编码器的到图片特征 Z，图片特征 Z 经由一个映射矩阵 W 漂流为视觉 Token H，这么 Vison Token Hv 与 Language Token Hq 指示就都在消逝个特征空间，拼接后全部输入大模子。这里的映射层 W 也不错替换为更复杂的收罗来培植性能，比如 Flamingo 顶用的 gated cross-attentio，BLIP-2 顶用的 Q-former。

更多本行业筹商分析详见前瞻产业筹商院《环球及中国多模态大模子行业发展远景与投资政策缠绵分析说明》

同期前瞻产业筹商院还提供产业新赛谈筹商、投资可行性筹商、产业缠绵、园区缠绵、产业招商、产业图谱、产业大数据、机灵招商系统、行业地位讲解、IPO 筹商 / 募投可研、专精特新小巨东谈主请问、十五五缠绵等惩办决策。如需转载援用本篇著作实质，请注明贵寓着手（前瞻产业筹商院）。

更多深度行业分析尽在【前瞻经济学东谈主 APP】开yun体育网，还不错与 500+ 经济学家 / 资深行业筹商员疏导互动。更多企业数据、企业资讯、企业发展情况尽在【企查猫 APP】，性价比最高功能最全的企业查询平台。