2024年年初，特斯拉FSD V12推送首个端到端模型方案，车载大模型开始成为行业的热议话题。5月，小鹏AI天玑系统全量推送，包括国内首个端到端AI智驾和大语言模型AI小P。
2024年9月3日，在第四届智能汽车域控制器与中央计算平台创新峰会上，小鹏汽车嵌入式架构总师唐黾表示，自动驾驶迎来了端到端大模型。对此，小鹏汽车推出了XNet、XBrain、XPlanner，智驾升级端到端大模型——能力提升2倍，XNGP全国都好用。同时唐黾系统分享了小鹏全栈自研控制器、小鹏AI计算平台软件架构。唐黾提出，需要注意的是，大模型也对计算、存储、音视频处理、信息安全、带来了挑战。同时需要思考——大模型时代，舱驾融合还有价值吗?
展望未来，小鹏开展All in AI战略。唐黾介绍，将全面覆盖AI机器人、AI芯片、AI汽车、AI大模型、飞行汽车等方面。
唐 黾 | 小鹏汽车嵌入式架构总师
以下为演讲内容整理：
汽车行业迎来大模型时代
近年来，大模型成为热议焦点，尤其在车载应用上发展迅速。年初，特斯拉率先推出FSD V12版本，是行业首个端到端模型方案。随后，华为发布ADS 3.0，同样标榜端到端能力。5月，小鹏AI天玑系统全量推送，包括国内首个端到端AI智驾和大语言模型AI小P。理想、讯飞等企业亦纷纷跟进，发布大模型方案。小鹏在十周年庆典上，宣布了基于大模型的纯视觉AI鹰眼方案，标志着从激光雷达向纯视觉转型的新阶段。
自动驾驶领域，端到端大模型架构由“大脑”“小脑”与“眼睛”组成，分别负责意图理解、规划与感知。大脑依托大模型，精准解读交通参与者意图；小脑采用XPlanner神经网络规划，提升驾驶平顺性；眼睛则实现超广感知范围。大模型训练虽难，但迭代迅速，预计18个月内能力将提升30倍，XNGP因此实现全国覆盖与高效运行。
图源：演讲嘉宾素材
座舱方面，AI小P升级，增强需求推理与多模态能力，如百科问答、用车辅助及创意生成，同时通过车内外摄像头实现智能感知，提升用户体验。未来，AI小P将向多模态感知与云一体架构发展，成为座舱乃至整车智能化的核心。
小鹏车载计算平台采用全栈自研策略，基于英伟达与高通平台，实现中央 域控架构，领先业内。软件架构上，融合多操作系统，构建统一通信协议与SOA服务框架，支持跨域交互与复杂逻辑处理。同时，云端大模型辅助车端，弥补算力不足，实现边缘云一体。未来，小鹏将继续迭代中央计算平台与云原生应用，推动整车智能化进程。
大模型对车载计算平台的挑战
大模型的兴起对当前计算平台构成了多方面的挑战。
从计算角度看，以LLaMA为代表的解码器架构中，Softmax算子成为核心，其并行化能力低于传统卷积算子，对计算芯片提出新要求，需提升Softmax计算效率。
同时，大模型导致存储成为瓶颈，特别是存储密集型模型如GPT，对存储带宽要求高，现有芯片常面临“存储墙”问题。
多模态大模型处理多源数据（如视频、图像等）时，前端处理增加延迟，需优化以降低推理延迟。此外，车端算力有限，需利用云端资源，但数据传输受限于5G限制，编码器的性能与压缩率直接影响模型性能。
图源：演讲嘉宾素材
信息安全方面，大模型中的提示词工程易遭注入攻击，公开或供应数据可能存在数据中毒、后门等安全隐患，需加强防护。汽车行业对安全重视不足，需提升安全防护能力。
舱驾融合方面，大模型时代座舱与智能驾驶对NPU和内存的需求激增，CPU需求相对下降。现有舱驾融合芯片设计需重新评估，可能无法同时满足两者需求，且成本高昂。未来需考虑是否继续坚持舱驾融合策略，或探索更经济的解决方案。
未来计算平台展望
小鹏汽车在迎来10周年之际，明确了以AI为核心的战略方向，聚焦于AI机器人、AI汽车及飞行汽车三大核心产品。为支撑这一战略，我们发布了首款专为大模型定制的“图灵芯片”，该芯片支持高达30B大模型的运行，并针对我们自主研发的模型和框架进行了深度优化，实现了效率与能效比的双重提升。
图源：演讲嘉宾素材
在此基础上，我们正构建一套统一的AI计算架构，旨在跨足汽车、机器人及飞行汽车三大领域，同时满足L4级自动驾驶的高功能安全与高冗余要求。这标志着我们将致力于打造一个高度集成、高效运行的中央计算系统。
面对大模型时代的挑战，我们深知算力与芯片面积需求的激增，以及半导体工艺快速发展伴随的高昂成本。鉴于国内在先进工艺上的限制，我们探索了小芯片堆叠作为替代方案，以在现有条件下实现类似大芯片的性能。此外，量子计算的潜在突破也为我们提供了长远的解决方案视角，期待其未来能解决传统计算难以逾越的难题。
在存储方面，虽然服务器领域已有内存磁化技术解决容量问题，但其车载应用的可行性尚待验证。内存带宽的提升同样面临技术瓶颈，现有标准如LPDDR5X已难以满足大模型需求，而未来技术如GDDR7、LPDDR6等虽有进步，但增长有限。HBM技术在汽车领域的应用前景亦不明朗。
我们特别关注存内计算这一新兴路径，尽管目前国内外厂商多处于研究阶段，且面临技术与战略融合的挑战。我们期望未来能有更多国产厂商加入这一领域，在存内计算上取得突破性进展，为行业带来变革。
（以上内容来自小鹏汽车嵌入式架构总师唐黾于2024年9月3日在第四届智能汽车域控制器与中央计算平台创新峰会发表的《大模型时代的车载计算平台思考》主题演讲。)
