姝一zoestyle,姝姀百科

金融界3月10日消息 据德国媒体heise在线报道，当地时间3月9日，微软德国【【微信】】（布劳恩）在一场AI活动中表示，GPT-4将于下周发布，并且是多模态，不仅仅局限于文字，还包括视频。与此同时，Braun还强调GPT-4能够适用所有的语言，用户可以用德语提问，然后获得意大利语的答案。

与此同时，Braun还强调GPT-4能够适用所有的语言，用户可以用德语提问，然后获得意大利语的答案。heise在线报道称，Braun称LLM（Large Language Model，大型语言模型）为“游戏规则改变者”，它们教机器理解自然语言，然后机器以统计学方式理解以前只能由人类阅读和理解的内容。

多模态被视为是重大突破，天风国际3月2日发布的研报指出，GPT4.0 未来可能会是多模态的具有思维链推理能力的大模型，生成式AI可能成为人类思维的“大副”，标志着AI的智能涌现速度超越Scaling Law的提升速度，PC 是人类思维的“自行车”（Steve Jobs），而生成式 AI 可能会是人类思维的“Copilot/大副”。全要素生产率 PC时代飞速增长，在互联网普及后（2005-2022）增长缓慢，生成式AI时代全要素生产率可能重新加速上升。

天风国际指出，多模态大模型将可能让深度学习对个体的多层次理解成为可能，让“AI生成设计”到“AI生成产品”成为可能，这个市场可能会比 “AI生成内容”大很多倍，真正的个性化需求的商品将对仿真，柔性生产和柔性供应链提出全新的要求。

广发传媒3月7日发表的研报指出，多模态技术的应用，提升AIGC通用能力。他们认为，多模态技术的发展拓宽了下游应用场景，包括基于CLIP和DALL・E的AI作画，基于Florence的图片、视频分类等。22年年底的AI作画、ChatGPT为代表的AI问答等受到广泛关注，应用的不断落地标志着AIGC行业进入发展的新阶段，商业化变现空间可期。

---

OpenAI——CLIPs（代码使用示例）

openai clip,opencodecsetup,open codec,opencoder

Open AI在2021年1月份发布Contrasti【【微信】】training(CLIP),基于对比文本-图像对对比学习的多模态模型，通过图像和它对应的文本描述对比学习，模型能够学习到文本-图像对的匹配关系。它开源、多模态、zero-shot、few-shot、监督训练均可。 原文原理图： 原文算法思想伪代码：

https://github.com/openai/CLIP

（一）原版 安装：

当然没有GPU和cuda，直接CPU也可以 源码：

（二）transformer库版本 Transformers 库的基本使用： https://blog.csdn.net/benzhujie1245com/article/details/125279229 安装：

CLIP源码：

输入图片： 结果：

但是CLIP对于有些比较抽象的图片或任务效果并不一定好，例如： 图片code.png：

但是CLIP仍是一项AI重要突破，尤其是当它应用到CV相关任务时，例如风格换装，CLIPBERT，CLIP4Clip，CLIP2Video，【【微信】】、image caption等等。