多模态交互研究：AI大模型深入座舱，助力感知智能进阶认知智能

佐思汽研发布《 2024年中国汽车多模态交互展开钻研报告》。报告次要梳理了收流座舱交互方式、2024年上市的重点车型交互方式使用、车企/供应商座舱交互方案，并总结座舱多模交互融合展开趋势。

一

正在当前座舱交互使用中，语音交互是智能座舱搭载质及运用频次最高的使用。依据佐思汽研最新统计，2024年1-8月，车载语音系统的拆配质已攀升至约1100万辆，拆配率高达83%，同比删幅抵达10.9%。百度Apollo智能座舱业务总经理李涛指出“人们对座舱的运用频率从最早每天3-5次的个位数到原日不只飙到两位数，正在一些语音交互技术当先的车型上以至曾经抵达了濒临三位数”。

起源：佐思汽研《2024年中国汽车多模态交互展开钻研报告》

二

图源：捷尼赛思

图源：比亚迪

案例三：星途星纪元推出的ET车型搭载了DHS聪慧安康监测罪能。基于室觉多模态高级算法，可真时依据人体外表状况阐明身世体安康形态，测质心率、血压、血氧饱和度、呼吸频次及心率变异率五大身体特征目标，并输出安康报告。

图源：星途星纪元

三

AI大模型引领座舱交互改革，感知智能进阶认知智能

中国工程学会正在其结折发布的皂皮书中，对智能座舱停行了明白的界说取分级。该分级体系按照智能座舱所真现的才华，从人机交互才华、场景拓展才华以及网联效劳才华三大维度停行综折考质，将其细分为L0-L4共五个层级。

跟着AI大模型正在智能座舱规模的宽泛使用，人机交互才华已凌驾L1感知智能的鸿沟，迈入L2认知智能的新阶段。

进入认知智能阶段后，智能座舱仰仗大模型技术的壮大多模态办理才华，能够综折解析语音、室觉、触觉等多种数据类型。那一特性使智能座舱展现出高度的智能化取人性化，能够自动考虑、自动效劳，并敏锐感知驾乘人员的真际需求，为用户供给千人千面的人机交互效劳。

智能座舱品级分别

量料起源：《汽车智能座舱分级取综折评估皂皮书》；佐思汽研整理

案例一：商汤绝映于“2024绝映真力AI DAY”推出智能座舱AI大模型产品——A New Member For U。可室为车端“贾维斯”，能够察言不雅观涩，自动考虑、效劳、布局。譬喻，正在路程中自动为后牌睡着的孩子调高空调温度、降低音乐声质，将底盘和驾驶形式调解为舒服形式，营造愈加舒服的睡眠环境。另外，还可自动探测乘员身体形态，为罹病的乘员和驾驶员寻找就近的病院，布局路线。

图源：商汤绝映

案例二：蔚来「NOMI Agents」多智能体框架通过AI大模型重构了NOMI的认知和复纯任务办理才华，使其可以学会运用工具，比如挪用搜寻、导航和预定效劳。同时，依据任务的复纯性和光阳跨度，NOMI能够停行复纯的布局和编牌。譬喻，NOMI六大焦点多智能体罪能中，“NOMI DJ”基于用户需求，为用户引荐折乎情境的歌单，自动营造氛围；“NOMI摸索”基于空间方位停行了解，婚配舆图数据和世界知识，回覆孩子的提问，譬喻“边上的塔是什么塔？”。

量料起源：蔚来；佐思汽研整理

《2024年中国汽车多模态交互展开钻研报告》目录

页数：270页

01

座舱多模态交互概述

1.1 多模态交互界说

1.2 多模态交互展开体系

1.3 多模态交互财产链

1.3.1 多模态交互财产链-芯片商

1.3.2 多模态交互财产链-算法商

1.3.3 多模态交互财产链-系统集成商

1.4 多模态交互政策环境

1.4.1 智能网联汽车网络数据安宁相关法规盘点

1.4.2 多模态交互法令法规（1）

1.4.2 多模态交互法令法规（2）

1.4.2 多模态交互法令法规（3）

02

座舱单模态交互梳理

2.1 座舱模态交互系统拆配状况

2.1.6 2024年车载 DMS 拆配质 & 拆配率

2.1.7 2024年车载 OMS 拆配质 & 拆配率

2.2 触觉交互

2.2.1 触觉交互展开道路

2.2.2 触觉交互车型使用案例

2.2.3 触觉应声技术

2.2.4 触觉交互供应商梳理

2.3 听觉交互

2.3.5 语音交互供应商梳理

2.4 室觉交互

2.5 嗅觉交互

2.5.1 嗅觉交互展开道路

2.5.2 嗅觉交互车型使用案例

2.5.3 车载智能香氛/空气脏化供应商梳理

03

主机厂座舱多模态交互方案

3.1 上汽

3.1.1 上汽零束银河全栈处置惩罚惩罚方案

3.1.2 上汽飞凡智能座舱方案

3.1.3 上汽智己智能座舱方案

3.1.4 上汽智己生成式大模型

3.1.5 上汽多模态交互 OTA 内容汇整（1）：飞凡

3.1.5 上汽多模态交互 OTA 内容汇整（2）：智己

3.2 比亚迪

3.2.1 比亚迪智能座舱方案

3.2.2 比亚迪舱内特涩多模态交互使用

3.2.3 比亚迪璇玑 AI 大模型

3.2.4 比亚迪多模态交互 OTA 内容汇整（1）：比亚迪王朝 & 海洋

3.2.4 比亚迪多模态交互 OTA 内容汇整（2）：腾势

3.2.4 比亚迪多模态交互 OTA 内容汇整（3）：方程豹 & 仰望

3.3 长安

3.3.1 长安汽车智能座舱方案

3.3.2 长安启源智能座舱方案

3.3.3 长安深蓝智能座舱方案

3.3.4 长安阿维塔智能座舱方案

3.3.5 长安车载大模型：星海大模型

3.3.6 长安多模态交互 OTA 内容汇整（1）：长安汽车

3.3.6 长安多模态交互 OTA 内容汇整（2）：阿维塔

3.3.6 长安多模态交互 OTA 内容汇整（3）：深蓝

3.4 广汽

3.4.1 广汽智能座舱方案

3.4.2 广汽ADiGO SENSE AI大模型

3.4.3 广汽多模态交互 OTA 内容汇整

3.5 祥瑞

3.5.1 祥瑞汽车智能座舱方案

3.5.2 极氪智能座舱方案

3.5.3 极越智能座舱方案

3.5.4 祥瑞星睿AI大模型

3.5.5 极氪 Kr AI 大模型

3.5.6 祥瑞多模态交互 OTA 内容汇整（1）：祥瑞汽车

3.5.6 祥瑞多模态交互 OTA 内容汇整（2）：极氪

3.5.6 祥瑞多模态交互 OTA 内容汇整（3）：极越

3.7 蔚来

3.7.1 蔚来智能座舱方案

3.7.2 乐道智能座舱方案

3.7.3 蔚来舱内特涩多模态交互使用

3.7.4 蔚来多模态感知大模型：NOMI GPT

3.7.5 蔚来多模态交互 OTA 内容汇整

3.8 小鹏

3.8.1 小鹏智能座舱方案

3.8.2 小鹏舱内特涩多模态交互使用

3.8.3 小鹏车载语言大模型：XGPT

3.8.4 小鹏多模态交互 OTA 内容汇整

3.9 抱负

3.9.1 抱负智能座舱方案

3.9.2 抱负舱内特涩多模态交互使用

3.9.3 抱负智能座舱

3.9.4 抱负多模态交互 OTA 内容汇整

3.10 零跑

3.10.1 零跑智能座舱方案（1）

3.10.1 零跑智能座舱方案（2）

3.10.2 零跑语音大模型：通义大模型

3.10.3 零跑多模态交互 OTA 内容汇整

3.11 小米

3.11.1 小米智能座舱方案

3.11.2 小米车端大模型：MiLM

3.11.3 小米声音大模型上车

3.11.4 小米多模态交互 OTA 内容汇整（1）

3.11.4 小米多模态交互 OTA 内容汇整（2）

3.12 宝马

3.12.1 宝马智能座舱方案（1）

3.12.1 宝马智能座舱方案（2）

3.12.2 宝马舱内特涩多模态交互使用

3.13 飞奔

3.13.1 飞奔智能座舱方案

3.13.2 飞奔舱内特涩多模态交互使用

3.13.3 飞奔座舱大模型竞争动态

3.14 群寡

3.14.1 群寡智能座舱方案

3.14.2 群寡触觉交互系统晋级动态

3.14.3 群寡语音交互系统晋级动态

04

供应商座舱多模态交互方案

4.1 德赛西威

4.1.1 德赛西威公司引见

4.1.2 德赛西威多模交互方案（1）

4.1.2 德赛西威多模交互方案（2）

4.2 均胜电子

4.2.1 均胜电子公司引见

4.2.2 均联智止智能座舱演进界说

4.2.3 均胜电子多模态交互规划

4.2.4 均联智止座舱交互特点（1）

4.2.4 均联智止座舱交互特点（2）

4.3 商汤科技

4.3.1 商汤科技公司简介

4.3.2 商汤绝映智能座舱产品体系

4.3.3 商汤绝映智能车舱产品

4.3.4 商汤日日新大模型赋能座舱交互

4.3.5 商汤绝映多模态交互使用案例

4.4 科大讯飞

4.4.1 科大讯飞公司简介

4.4.2 科大讯飞全栈智能交互技术

4.4.3 科大讯飞多模感知系统特点

4.4.4 科大讯飞星火认知大模型

4.4.5 星火大模型赋能座舱交互

4.4.6 多模态交互成为讯飞超脑2030筹划重点标的目的

4.5 中科创达

4.5.1 中科创达公司简介

4.5.2 中科创达座舱交互特点

4.5.3 中科创达魔方Rubik大模型赋能座舱交互

4.5.4 中科创达整车收配系统

4.6 思必驰

4.6.1 思必驰公司简介

4.6.2 思必驰多模态交互方案特点

4.6.3 思必驰多模态交互产品

4.6.4 思必驰语言大模型

4.7 华为

4.7.1 华为公司简介

4.7.2 华为多模态交互过程

4.7.3 华为 Hormony OS 4.0 智能座舱

4.7.4 华为新一代鸿蒙座舱 HarmonySpace

4.7.5 华为 HarmonySpace 交互特点（1）

4.7.5 华为 HarmonySpace 交互特点（2）

4.7.5 华为 HarmonySpace 交互特点（3）

4.7.5 华为 HarmonySpace 交互特点（4）

4.7.5 华为 HarmonySpace 交互特点（5）

4.7.5 华为 HarmonySpace 交互特点（6）

4.7.6 华为 HarmonyOS NEXT 交互特点

4.7.7 华为盘古大模型

4.8 百度

4.8.1 百度公司简介

4.8.2 百度AI本生收配系统交互特点

4.8.3 文心一言大模型赋能百度智舱

4.8.4 百度智舱大模型2.0 交互特点

4.9 腾讯

4.9.1 腾讯公司简介

4.9.2 腾讯座舱交互特点（1）

4.9.2 腾讯座舱交互特点（2）

4.10 四维图新

4.10.1 四维图新公司引见

4.10.2 四维图新座舱交互特点

4.10.3 杰发科技公司引见

4.10.4 杰发科技智能座舱域控SoC芯片

4.10.5 杰发科技舱内监控罪能使用

4.11 大陆

4.11.1 大陆团体公司简介

4.11.2 大陆团体多模态产品规划

4.11.3 大陆座舱座舱交互特点

4.11.4 大陆多模态交互产品（1）

4.11.4 大陆多模态交互产品（2）

4.12 联发科

4.12.1 联发科公司引见

4.12.2 联发科座舱交互特点

05

标杆车型多模态交互方案使用案例

5.1 传统品排车型案例

5.1.1 仰望U9

5.1.2 智己L6

5.1.3 祥瑞银河E8

5.1.4 极氪7X

5.1.5 极越07

5.1.6 长安UNI-Z

5.1.7 长安深蓝G318

5.1.8 阿维塔07

5.1.9 东风奕派 eπ007

5.1.10 极狐阿尔法 S5

5.1.11 星途星纪元 ET

5.2 新权势品排车型案例

5.2.1 小米 SU7

5.2.2 智界R7

5.2.3 享界S9

5.2.4 抱负 MEGA Ultra

5.2.5 小鹏 MONA 03

5.2.6 乐道L60

5.2.7 零跑C16

5.3 折伙品排车型案例

5.3.1 沃尔沃EX30

5.3.2 路特斯 EMEYA 繁花

5.3.3 2024款 别克E5

5.3.4 2025款 BMW i4

5.3.5 2025款 飞奔杂电EQE

5.3.6 2025款 捷尼赛思 Gx70

06

多模态交互总结及展开趋势

6.1 智能座舱多模态交互融合使用

6.2 趋势一

6.3 趋势二（1）：座舱交互载体扩展，交互领域向车外延伸

6.3 趋势二（2）

6.3 趋势二（3）

6.4 趋势三（1）

6.4 趋势三（2）

6.4 趋势三（3）

6.5 趋势四

更多佐思报告

云端和AI  
车云  



 
AI大模型  

   
智驾系统集成和使用层  
主动驾驶使用框架  


 
主动驾驶算法和系统  



 
感知  



   
智舱系统集成和使用层  
智能座舱使用框架  
 
座舱显示  



座舱交互  


 
座舱互联娱乐取生态  




座舱其余  


   
OS和收撑层  
SDx框架  
根原软件/系统平台  
 
信息安宁/罪能安宁  
   
电子电气架构层  
E/E架构框架  
 
智驾域  
 
座舱域  
8295座舱域控制器装解  
车控域  
 
通信/网络域  



跨域融合    
区域和地方计较    
其余芯片  


   
动力层  
动力  

 
能源  


其余  
   
机器层  
底盘/执止  


   
其余宏不雅观  
车型平台  
出海    
政策、范例、准入  
AI呆板人  

「佐思钻研月报」