6月27日，高通公司AI产品技术中国区负责人万卫星在2024世界移动通信大会（MWC上海）“人工智能领域的投资、创新与生态系统发展”主题会议上发表题为“终端侧生成式AI的未来” 的演讲。
万卫星表示，生成式AI的能力和用例正不断丰富和扩展，高通通过其创新的SoC系统设计，凭借面向生成式AI全新设计的NPU和异构计算系统，为终端侧AI规模化扩展提供了有力支持。
“生成式AI正在从云端迁移到边缘云和终端侧，未来端云协同的混合AI将推动生成式AI的规模化扩展。通过在云和边缘及终端侧之间分配工作负载，我们提供更强大、更高效和高度优化的体验。”万卫星说，针对新的AI用例和工作负载，高通重新定义和设计了SoC，定义了一个专为AI而打造的SoC的系统，推出了高通AI引擎这个异构计算系统。高通AI引擎中包含CPU、GPU、NPU，以及超低功耗的高通传感器中枢。
演讲中，万卫星详细介绍了高通SoC的异构计算系统如何满足丰富的生成式AI用例的多样化要求，包括对算力等各种KPI的要求。同时，他还介绍了高算力、低功耗NPU的演进路线，以及如何利用第三代骁龙8移动平台率先实现多模态大模型的端侧运行。
去年高通发布的第三代骁龙8移动平台，可以支持完整运行100亿参数以上的模型。在AI方面，特别是NPU与前代产品相比有哪些提升？据万卫星介绍，第一，利用微架构升级提供极致性能；第二，手机作为一个集成度非常高的产品，其功耗一直都是需要重点解决的问题，因此高通为NPU设置了加速器专用电源，实现了更加出色的能效；同时，高通还升级了微切片技术，在算子深度融合层面充分释放硬件算力和片上内存。除此之外，其他的提升和改进还包括更大的带宽、更高的主频等，从而打造出拥有卓越AI性能和能效的SoC。
“从参数量级的角度来说，2024年及以后我们将有望看到更多100亿参数以上的大模型在端侧运行，并带来较好的用户体验。”万卫星说。
除提供手机SoC，高通也涉足汽车、PC、物联网、XR等领域，高通AI软件栈已经赋能其所有产品线的绝大多数AI平台。“这就意味着，我们的合作伙伴和开发者朋友们，只要在高通的一个平台上完成模型的部署，就可以非常方便地迁移到高通的其他产品线。”万卫星说。
另据万卫星介绍，除了提供领先的硬件和灵活的软件之外，高通也在构建AI生态系统，支持国内外广泛的终端侧生成式AI模型，持续推动AI技术的发展和创新。
本文链接：http://www.28at.com/showinfo-16-97523-0.html面向终端侧生成式AI规模化扩展 高通重新定义SoC系统性能
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
