一、基本概念

多模态大模型是一种基于深度学习的机器学习技术，其核心思想是将不同媒体数据（如文本、图像、音频和视频等）进行融合，通过学习不同模态之间的关联，实现更加智能化的信息处理。在多模态大模型中，不同模态的数据经过预处理后被输入到一个深度神经网络中，经过多层的特征提取和融合，最终输出相应的结果。

多模态大模型的优点在于能够充分利用不同媒体数据的信息，提取出更加丰富、全面的特征，从而提高模型的性能和泛化能力。多模态大模型还可以通过学习不同模态之间的关联，进一步增强模型的语义理解和表达能力。

二、应用场景

多模态大模型在许多领域都有广泛的应用，下面介绍几个典型的应用场景：

1. 自然语言处理

多模态大模型在自然语言处理领域的应用主要表现在跨媒体理解和生成方面。通过将文本和图像等多模态数据输入到模型中，可以完成诸如文本与图像的跨模态检索、文本与视频的语义对齐等任务。同时，多模态大模型还可以用于生成具有视觉效果的文本描述，如给定一张图片，输出一段描述其内容的文字。

2. 计算机视觉

多模态大模型在计算机视觉领域的应用主要表现在跨媒体分析和跨媒体生成方面。通过将文本、图像和视频等多模态数据输入到模型中，可以完成诸如文本与图像的关联分析、视频语义分割等任务。同时，多模态大模型还可以用于生成具有语义信息的图像或视频，如根据一段文字描述生成相应的图片或视频。

3. 多媒体处理

多模态大模型在多媒体处理领域的应用主要表现在跨媒体理解和跨媒体生成方面。通过将音频、视频和文本等多模态数据输入到模型中，可以完成诸如音频与视频的跨模态检索、音频与文本的语义对齐等任务。同时，多模态大模型还可以用于生成具有多媒体特征的文本或视频，如根据一段音频描述生成相应的文字或视频。

三、发展趋势

随着多模态大模型的不断发展，其应用场景也将越来越广泛。未来，多模态大模型的发展将呈现出以下几个趋势：

1. 数据规模不断扩大

随着数据规模的扩大，多模态大模型的性能和泛化能力将得到进一步提升。未来，将会有更多的数据集被用于训练多模态大模型，从而使其更好地适应各种实际应用场景。

2. 模型结构不断创新

随着深度学习技术的不断发展，多模态大模型的架构和算法也将不断创新。未来，将会有更多的新型神经网络结构被应用于多模态大模型中，从而使其更好地处理不同媒体数据之间的关联和转换。

结语

多模态大模型作为一种新型的机器学习技术，在自然语言处理、计算机视觉和多媒体处理等领域具有广泛的应用前景。随着数据规模的不断扩大和模型结构的不断创新，多模态大模型将在未来人工智能的发展中扮演越来越重要的角色。

人工智能大模型是什么

人工智能大模型是指使用深度学习技术构建的、具有巨大参数量和复杂结构的神经网络模型。这些模型通常包括预训练模型和微调模型两种类型。预训练模型是在大规模数据集上进行训练的，具有广泛的语言知识和理解能力；微调模型则是在特定任务数据集上对预训练模型进行微调，以适应具体的应用需求。

人工智能大模型具有强大的语言理解和处理能力，可以应用于自然语言处理、计算机视觉、语音识别等领域。在自然语言处理领域，大模型通常被用于文本分类、情感分析、摘要生成等任务；在计算机视觉领域，大模型被用于图像识别、目标检测、人脸识别等任务；在语音识别领域，大模型被用于语音转文本、语音合成、口语评估等任务。

然而，构建和训练这些大模型需要大量的计算资源和数据，因此通常由大型研究机构或公司进行开发和维护。同时，这些大模型也面临着一些挑战和问题，如数据隐私、算法偏见、计算资源等。

「大模型+大算力」加持，通用人工智能和智能驾驶双向奔赴

开年以来 ChatGPT、GPT-4 的相继面世再度掀起计算机科学领域通用人工智能（AGI）研究热潮，也不断刷新我们对 AI 的认知。

作为具有人类水平表现的大型多模态模型，GPT-4 被视为迈向 AGI 的重要一步，标志着创新范式的深度变革和生产力的重新定义，也必将带来更多元的产品迁移。

截至目前，全球已经有超百万家初创公司声称使用这一秘密武器来创造新产品，而这些产品将彻底改变从法律到股票交易，从游戏到医疗诊断的近乎一切领域。

尽管其中很多是营销泡沫，但与所有技术突破一样，总会存在炒作周期和意想不到的远期效果。

事实上在另一边，进入 2023 年智能汽车领域同样十分热闹。

智能化已然成为上海车展全场关注的最大焦点，除了激光雷达等关键传感器的单点式突破，各大巨头也纷纷展示智能驾驶全产品矩阵，城市场景辅助驾驶量产落地加速推进。

更加值得注意的是，BEV、大模型、超算中心等计算机热词正在与自动驾驶、行泊一体、城市 NOA 等智驾焦点火速排列组合，颇有相互交融、双向奔赴的味道。

在这背后，一方面是近年来智驾、智舱持续升级对 AI 在汽车场景落地的数据、算法、算力不断提出更高要求，另一方面，AGI 的重大突破也已将触角伸向智能汽车，将其视为实现闭环应用的重要场景，很多企业布局已经相当高调。

日前，商汤科技 SenseTime 举办技术交流日活动，分享了以「大模型+大算力」推进 AGI 发展的战略布局，并公布该战略下的「日日新 SenseNova」大模型体系。

在「大模型+大算力」加持下，本次上海车展商汤绝影驾、舱、云一体产品体系已全栈亮相，近 30 款合作量产车型集中展出，商汤也再度分享了智能汽车时代的 AGI 落地新思考。

本次上海车展亮相的部分绝影合作车型展示

算法：AI 正式步入大模型时代

如商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚所言，「AGI 催生了新的研究范式，即基于一个强大的多模态基模型，通过强化学习和人类反馈不断解锁基模型新的能力，从而更高效地解决海量的开放式任务。」

通用大模型并非为自动驾驶而生，或为满足自动驾驶的特定任务需求而设计。但智能驾驶开发的诸多新需求已在推动算法从专用小模型向通用大模型快速演进。

首先是应对海量数据处理和 Corner Case 问题的迫切需求。

对于感知系统低频出现但至关重要的小目标及带来的潜在安全隐患，算法开发需要面对海量数据，传统的 AI 小模型将难以同时处理大数据量和高复杂度的任务。通用大模型则可用在长尾目标的初筛过程，并叠加语料文字处理得到很好的效果。

再比如智驾算法开发对自动化数据标注、降低人工成本的诉求。相比于人工标注，通用大模型将自动化对海量数据完成标注任务，大幅降低标注数据获取的时间成本和本身的金钱成本，从而缩短研发周期、提升成本效益。

处于类似的考量，近年来国内外巨头企业已围绕大模型纷纷展开各自智驾布局。

继 Google 于 2017 年提出将 Transformer 结构应用在 CV 领域图像分类，大模型已在 GPT-2、GPT-3、BERT 等当中不断证明实力，特斯拉率先站台 Transformer 大模型征战图像视觉。

国内企业也紧随其后：

毫末智行已宣布自动驾驶认知大模型正式升级为 DriveGPT，网络表示利用大模型来提升自动驾驶感知能力并将大模型运用到数据挖掘，华为也已宣布加入大模型争霸赛，自研「盘古」即将对外上线。

作为行业领先的人工智能公司，商汤在大模型领域可谓乘风破浪，过去一两年则全面将大模型能力在各业务线 20 多个场景落地，包括智能驾驶。

商汤「日日新 SenseNova」大模型体系背后是大模型研发中深厚的积累。商汤有自己的全栈大模型研发体系，其中就包括针对大模型的底层训练及实施过程中的各种系统性优化。

例如，商汤近期向社区发布的用于真实感知、重建和生成的多模态的数据集 OmniObject3D 中包含 190 类 6000 个物体，数据质量非常高。

再比如，商汤在 2019 年就已首次发布 10 亿参数的视觉大模型，到 2022 年参数规模已达到 320 亿，这也是世界上迄今为止最大的视觉模型。

此外，商汤也在智驾领域持续展示大模型能力。2021 年开发的 BEV 感知算法在 Waymo 挑战赛以绝对优势取得冠军，2021 年 BEV Former 的 Transformer 结构至今仍是行业最有影响力的 BEV 工作，今年开发的 UniAD 是业内首个感知决策一体化的端到端自动驾驶解决方案。

在技术实力的另一端是量产进度。商汤也给出了自己的智能驾驶量产公式：

自动驾驶技术能力=场景数据 x 数据获取效率 x 数据利用效率² =场景数据 x 数据获取效率 x 先进算法 x 先进算力。

而先进的算法大模型不仅将通过跨行业数据汇聚提升驾驶场景数据资源，通过数据闭环开发模式和自动数据标注提升数据获取效率，更将大幅提升感知精度和感知丰富度进而成倍提升数据利用效率。

依托原创 AI 算法和模型积累，商汤领先的 BEV 感知算法推进国内首批量产应用，并采用 Domain Adaption 算法有效解决跨域泛化问题。商汤首创的自动驾驶 GOP 感知体系将目标数据获取的人力成本降低 94%，实现低成本的车端模型开发，目前也已投入量产应用。

算力：智能汽车时代的重要基础设施

随电子电气架构技术由分布式不断向集中式演进，大算力芯片成为新型电子电气架构实现的物理基础。

近年来车端芯片算力发展突飞猛进，如英伟达规划中的 Atlan 单颗芯片算力超 1000TOPS，THOR 单颗算力超 2000TOPS，将大幅提升单车感知决策能力。

而在云端，AGI 在自动驾驶、网联等场景的泛化应用将提出比车端指数级更高的算力要求——从数据标注到模型训练，从场景仿真到算法迭代。

算力将是智能汽车时代的新型基础设施。

在此背景下，近年来主流企业纷纷开启双线并行探索，车端自研算力平台，云端建立超算中心。而进入大模型时代后，数据量随着多模态的引入也将大规模增长，因此必然也会导致 AGI 对算力需求的剧增。

可以看到，英伟达车端云端同步布局并将提供端到端的全栈式 AI 加速计算解决方案，特斯拉也早在 2021 年 8 月发布自研云端超算中心 Dojo。

据近期报道，埃隆·马斯克也将成立一家人工智能公司来与 OpenAI 竞争，已购买数千个英伟达 GPU 并一直招募 AI 研究人员和工程师。

国内方面，吉利、蔚来、特斯拉、毫末智行、小鹏等企业也已跟进布局云端算力集群，投入巨大以提升智驾开发算力储备。

对于商汤来说，如果说大模型将是支撑智能驾驶的上层建筑，那么大算力就是数字基座。

商汤科技董事长兼 CEO 徐立表示，目前大模型对基础算力、基础设施的需求非常旺盛，基础算力对并行效率的要求也非常高，但真正好用的基础设施其实十分稀缺。

出于这一原因，商汤历时五年自建了业界领先的 AI 大装置 SenseCore，完成 2.7 万块 GPU 的部署并实现 5.0 exa FLOPS 的算力输出能力，是亚洲目前最大的智能计算平台之一，可同步支持 20 个千亿规模参数量的超大模型同时训练。

位于上海临港的 AIDC 人工智能计算中心将为智能汽车的数据存储、标注、脱敏、仿真训练、算法迭代到部署的闭环提供算力支持，打通基于数据驱动的算法生产全流程，加速高级别智能驾驶技术的 AI 模型生产和持续迭代，推动实现规模化量产。

在 AIDC 的基础上，AI 大装置也将提供支持大模型生产的一系列服务：

如此规模的算力设施即使特斯拉同期也尚难以望其项背，也必将推动大模型的高效闭环。

「大模型+大算力」推动智能汽车行业整体进程

汽车行业正在面临百年未有之大变革。尽管此次以「大模型+大算力」推进 AGI 发展是商汤提出的战略布局，但事实上，这一理念早已在行业层面达成共识。

基于感知、决策规控和 AI 云三大核心能力，商汤「大模型+大算力」已赋能绝影驾、舱、云三位一体产品体系量产落地：

除智能驾驶领域的全栈能力和行泊一体量产解决方案外，「大模型+大算力」也正在助力商汤打造智能座舱跨场景生态。

车展期间，与商汤「日日新 SenseNova」大模型体系深度融合的绝影未来展示舱升级亮相，语言大模型「商汤商量 SenseChat」以及 AIGC 文生图平台「商汤秒画 SenseMirage」也已上车，多点融合重构人车交互方式，打造第三空间。

以「商量」为例，作为千亿级参数的自然语言处理模型，其使用大量数据训练并充分考虑中文语境，展示出出色的多轮对话和超长文本的理解能力。

商汤也展示了语言大模型支持的诸多汽车场景创新应用，如在行车过程中化身「邮件助手」自动提炼关键信息，作为「会议助理」自动生成会议纪要，大大节省用户行车时处理工作的时间和精力，为未来出行的应用场景拓展带来丰富的想象空间。

此外，以人工智能大模型开发、生产、应用为核心，一站式