大模型在自动驾驶业务场景应用与发展

谢谢各位。我今天的主题是大模型在自动驾驶业务上的应用与发展。因为我在英伟达的话主要是负责互联网行业，支持一些客户，所以说我对大模型其实有非常深的一个认识。

其实在三年前，我们就一直在跟客户讲，就是说大模型是未来的一个趋势。我们会需要用到更大的算力，去训练这模型的业务场景。当然，站在客户的角度上来想这个事情，大家都认为就是说我这边是为了卖更多的GPU卡，更高的营收。这方面的因素当然会有，但是其实更重要的一个场景，我们能看到在一些垂直领域， AI的整个能力其实是有一些比较好的效果，但是更多的，在一些行业的应用中其实并没有达到像人这样去思考的能力，所以说我们认为想要未来大模型做到更复杂的事情，就需要对它进行什么打磨。

这张图里，我们可以看到大模式的发展趋势，从2017年到2022年，在自然语言理解的应用领域内，从最早的BERT到Transformer Face的语言模型，可以看到在这5年里，模型的规模在不断地增加，然后AI在相应的一些应用场景里，它的理解能力或者它的效果有一个非常显著的变化。你可能会有一些印象，大概在三五年前，网上视频里能看到有个人坐在车里边，然后跟车去做一些交互，说导航到一个地方，他说了非常多遍，但根本就识别不到。而在今天，这种场景我相信都不会再存在了，因为我们有更强的AI模型，有更高的精度，能给人们带来更好的体验，这个只是在NLP就是自然语言理解的这个领域。在其他领域的话，它其实是一样的模式，一样的发展方向。比如说在CV领域，在某些特定的细分领域内，用限额算法是可以取得非常好的效果。但是随着领域的变化或者是数据的变化，其实整个效果的话可能就不会像原来在这个细分领域内的效果那么好，所以说我们需要用到大模型的一些方式，或者用更多的数据，来去做这样的事情。

(资料图)

想要做好大模型，我认为的话主要有个点。第一点是类似于Transformer的一些模型结构，能让模型变得更加复杂，从而它的有效智能可以带来更好的收益。然后这个是第一个。第二个的话是数据，数据是非常关键的，我们在跟客户的交流过程中，大家都提到过相同的问题，就是数据对于模型训练是至关重要的。我们需要用到更多的数据，或者是用一些多模态的数据，来去训练大模型的业务，才能实现更多的一些业务场景。第三点就是平台层面的规划，因为目前的业务最终要落在真实的业务场景里边。在训练端的话用集群的方式去构建一个分布式的系统，去做大模型的训练，才能有一个比较好的训练速度，更好地去迭代，让大模型的应用能有一个更好的效果。

这么大的一个模型在应用端去做应用，肯定成本会非常高。以NVIDIA的角度来考虑这个事情的话，其实我们也希望把大模型Inference的应用成本的话给它加上来。主要通过的手段可能第一，我们会针对大模型的业务产品持续去做Inference的优化，让相关的一些模型可以跑在更低的平台上去应用。然后第二点的话，因为GPU的类型很多，基于NVLink的GPU用于分布式训练，也可以基于一些PCIE类型的GPU承担大模型推理的一些业务场景，在大模型业务场景中达到一个非常好的性价比。

从总体上来看的话，我们认为大模型可能是未来的一个趋势。下面是我针对于自动驾驶这个行业说说跟AI相关的一些业务场景，然后从这些场景里边，我们可以看到哪些业务场景会应用到大模型，并取得一个比较好的一个效果。AI在自动驾驶这个场景里，或者跟汽车相关的场景主要分为这三类。第一个的话就是在工厂端，我们可以通过一些AI算法，进行质量检测，通过这种自动化的方式，来提升检测的效率，取得比较好的效果。第二个的话就是在一些车载娱乐系统里，像智能座舱。我们可以通过智能座舱，把人跟乘客以及外部互联起来，做更多的沟通，然后产生更多的价值。第三个的话就是今天所看到的自动驾驶这个业务场景，它也是我们最早在汽车领域去做的一个方向。整个自动驾驶其实是一个闭环，同时的话它是一个不断迭代，不断循环的过程。从前期的数据采集到数据打标，包括地图的信息，包括把所有收集到的数据，放进GPU的集群里面去做训练，到后端一些自动驾驶相关的业务场景里，比如成像、自动泊车、智能交互。这就意味着我们需要根据用户包括我们自己的反馈，不断去迭代，不断去进化。以这整个过程来说是需要非常强大的算力的，而且非常需要持续投入、持续开发。

刚才提到智能驾驶是一个非常复杂的场景，所以各部分因素都要被考虑进我们的自动驾驶业务中，每一个业务产品就代表了一个 AI算法。那么未来的话我们是不是可以把一些业务通过一个通用的模型，把它们融合在一块，给车提供更多的智能服务。这个当然的话也是在探索中，但现在来看的话，每一个业务层面或者是说每几类的业务，都需要一个不同的AI模型来去做这样的事情。

这个是智能座舱，刚才提到就是说智能座舱是自动驾驶以外，另一个对AI需求比较高的业务方向，且目前来看是与大模型结合的最多的，因为智能座舱工作的时候，我们可以通过云端的资源，来提供相关的一些服务。因为现在车端大模型业务的模型非常大，很难在车上去运用，而智能座舱的业务层面对实时性要求不是那么高，可以通过这种云端提供服务，然后去更好地利用大模型项目的一些技术，更好地给乘客提供相关的 AI服务，有更好的体验。

另外，除了刚才所提到的两个业务场景的话，其实在汽车领域的话还有非常多的业务场景跟AI是相关的，或者是说我们可以通过AI的方式去做的一些事情。包括前面说的，客户的体验就是跟智能座舱相关的，另外的话就是车跟人以及传感器的这种互联也可以通过AI的方式来进行。第三个是关于工厂的。大概两年前，我们发布了Omniverse模式，通过Omniverse模式做工厂数字化，然后通过数字化的工厂的来提升工厂的生产效率，包括一些规范。第四个的话涉及一些汽车设计，这个更多的是跟SPC相关。现在的SPC的一些应用也跟AI做了非常多的融合，这样的话我们可以通过 AI的方式，更快速地去设计汽车。最后两个的是辅助应用，比如说在一些金融、源头市场，可以通过AI的方式提供更多、更好的服务。

这张大概总结了一下，目前在自动驾驶里应用到大模型相关的一些业务场景。这些业务场景的话主要还是LLM即自然语言理解的一些业务场景，包括客户的一些体验。数据显示，订阅价值为1,0000美元的AD的客户数量达上百万，路上有多达5亿辆车链接了车内交互服务。然后是一些服务类的场景，像刚才提到就是说通过大模型的方式取代人来提供客服的服务，这个其实现在来看的话是一个非常成熟的业务场景，有比较好的效果。然后还有Chat Bot，就是通过一些智能语音的方式控制车辆。以及Knowledge Base等，就是在工作中的话我们可以通过大模型提升工作效率。

汽车大模型的话刚才提到就是说除了应用端，很多客户关心怎么真正地去应用，或者是说我原来没有一个基础的话，怎么才能快速地在我的业务产品里应用大模型。NVIDIA对于GPU市场提供了丰富的开发环境，包括一些工具可以帮助客户拥有快速的构建大模型的能力，包括从数据的准备起整个的AI开发过程。我们有一整套完善的工具链，可以非常方便高效地帮助客户快速构建数据集。我们在NGC上也提供一些预训练模型，客户可以基于相关的模型使用自有数据集信息进行训练，支持特定垂直领域的业务场景。

针对券商我们有相关的一些模型框架，可以更好地去提供服务给客户。因为其实在大模型出来之前，或者说在去年，其实只有非常少的客户有分布式集群的经验，来去做大模型训练。绝大部分的客户并不具备分布式训练的能力。NVIDIA在两三年前其实就已经开始做相关的研究，包括优化，所以可以提供很多与分布式集群相关的技术，客户可以直接拿过来用，不用关心底层，包括框架层面的一些优化，就能取得非常好的效果。

然后第三个的话就是当你从头开始训练一个模型，可能需要刚才提到的非常多的一些数据集，需要构建一个非常大的集群，还需要各种各样的投入来去管理集群。我们可以提供给客户一些优化好的模型，而客户可以基于这个模型做一些翻退。在Inference端，我们也提供各种各样的工具，让客户在端上去运行Inference的应用。最后是部署，总的来说NVIDIA能提供从最初的数据收集到最后端到端的部署这种整合方案给客户，帮助客户快速具备大模型的能力。除了这个刚才提到的软件层面的服务，NVIDIA从最底层的硬件到最上层的业务系统，每一个层面的都能提供相关的一些技术支持，或者是免费的软件套件，能帮助客户快速地构建自己的AI能力。

最后的话我就是想借用Jensen的一句话做一个总结——“未来的生成式AI、大模型以及推荐系统式是现代经济的一个引擎”。现在各个行业都在探索大模型，因为大家都认识到大模型的能力，觉得它会像人一样，或者是说人类研发AI的一个主要目的，就是我们希望设计一个算法，并使它能像人一样去思考。ChatGPT出来以后，人们看到这个方向是可以走得通的，所以现在各个行业都在做一些这种探索，希望把AI的方式部署到行业的应用上，提升整个行业或者是应用的效率，取得比较好的效果。

谢谢各位。

关键词：