AI大模型如何上车智能座舱?——深圳市航盛电子廖纬德

随着智能化和网联化技术的快速发展,智能网联汽车已成为新的竞争焦点。当前,人工智能,特别是大模型技术引领的新一轮变革正在深刻影响各行各业,推动生产力和生产关系的革新。各大车企正积极把握AI大模型带来的新机遇,竞相布局智能化发展的下半场。在本次汽车智能座舱技术大会上,深圳市航盛电子股份有限公司产品专家廖纬德分享了车载AI技术的未来发展趋势、如何让大模型更好地服务于用户,以及大模型三阶段的上车路径。

廖纬德表示,从感知到认知,支撑AI快速发展的三大基座分别是算力、算法和数据。近年来,随着算力架构的迭代和数据的丰富,特别是2017年Transformer架构的出现,催生了OpenAI的GPT大模型,从而推动了大语言模型、图像模型、多模态感知模型等的快速发展。

智能网联汽车的下半场是智能化的迅猛爆发。当前,车载数字基座平台的性能全面升级为汽车智能化带来了新的可能性。而AI大模型的应用,智能驾驶和智能座舱得以进一步释放其潜在能量,为驾驶者提供更加智能、便捷和舒适的体验。智能座舱的L1级别能实现多模态感知,提供有限的智能交互;L2级别更像是一个伴驾助手,能够提供推荐服务但无法独立完成复杂决策;L3、L4级别将实现AI Agent,即智能体,能够独立完成决策和服务。目前来看,智能网联汽车正处于人工智能时代的发展阶段。

廖纬德介绍,当前大模型主要在智能驾驶和智能座舱两个方面得到了广泛应用。智能驾驶领域主要探索视觉模型和端到端自动驾驶,但面临着安全性和实时性的挑战。相比之下,智能座舱主要提供用户服务和娱乐,即使大模型偶尔出现失误,用户也能接受。因此,大模型在智能座舱的应用将更快且更全面。

要充分推进大模型在座舱中的应用,廖纬德指出需经历几个关键阶段。首先,需要具备基础能力,即高性能的大模型本身;其次,需要配备模型精调工具和部署工具链;此外,还需要一套向量数据库来提高模型的使用效率。在此基础上,构建知识图谱、开发低代码调用的APP以及车载应用场景是关键步骤。整个过程中,从芯片供应商到大模型厂商,再到车厂和Tier1供应商的合作至关重要。

为了让大模型更好地服务于用户,需要降低使用门槛。一方面,要让用户能够更自然地与大模型交互;另一方面,要让大模型能够实现自主决策。在最近的人工智能峰会上,吴恩达教授深入分享了当前AI Agent的几种主流设计模式,包括记忆反思、工具调用、规划布局以及多智能体协同等,为了开发多模态应用,进一步提升AI在新场景中的创新能力,还需要融入一个认知设计模式。记忆反思能够自我纠错和迭代,规划布局涉及任务拆解和多智能体协作,工具使用是利用工具大语言模型调用插件和网络,扩展了其能力。

多模态输入结合大模型认知能力也是关键技术之一。大语言模型因其数据泛化能力和持续迭代能力,可以显著提升多模态认知的能力,包括用户画像感知、车辆信息感知和外部环境信息感知的融合。例如,用户可以告诉智能体今天是女儿的生日,希望为其创造惊喜,智能体可根据这一信息自动播放女儿喜爱的动画片、音乐,并调整氛围灯等。

针对大模型如何上车的问题,讲师提出了三阶段的发展路径。第一阶段是纯云端介入,通过云端API提供服务,结合车端的小模型或传感器数据进行预处理和后处理,这是目前最普遍的方案。第二阶段是车端专用大模型,结合专用车端小模型,既保护了用户隐私,又提升了服务效率,但受限于当前车端算力,要实现完整的功能闭环仍有难度。第三阶段则是算力大幅提升后的大模型部署,将完整的大模型部署到车端,实现真正的自主服务。这一过程中,算力、能耗与生态兼容性是亟待解决的关键问题,同时赢得用户信任也至关重要。然而,挑战之中蕴藏机遇,模型上车将极大提升隐私保护能力,推动模型压缩与加速技术的革新,有效降低推理延迟,并在成本优化方面取得显著突破。