快科技10月17日消息，近，EXO实验室展示了其新成果：将两台NVIDIA的DGX Spark迷你超算与苹果的M3 Ultra Mac Studio相结合，成功打造出一个高效的AI协同网络，实现了AI性能的大幅提升。
这得益于EXO实验室的主要项目EXO，其核心在于其能够将大型语言模型（LLM）的推理任务智能分配到不同的硬件设备上。
传统上，推理任务通常依赖于单一的GPU或加速器，而EXO则能够自动将工作负载分散到用户所拥有的各种设备上，无论是桌面电脑、笔记本、工作站、服务器、平板电脑甚至智能手机，都可以成为这个协同AI网络的一部分。
在EXO的新演示中，两台NVIDIA DGX Spark与苹果的Mac Studio被组合在一起，以充分利用了每台机器的独特优势。
DGX Spark拥有强大的计算能力，而Mac Studio则拥有超宽的内存位宽和快速的数据传输能力著称，EXO 1.0版本将这两者融合为一个单一的推理管道，并且效果出奇地好。
在EXO使用Meta的Llama-3.1 8B模型进行的基准测试中，这种混合设置比单独使用Mac Studio的速度快了2.8倍。
这还是在使用相对较小的8B模型和8K-token的情况下，如果使用更长的提示或更大的模型，性能提升可能会更加显著。
本文链接：http://www.28at.com/showinfo-24-184963-0.html苹果×NVIDIA“梦幻联动”！两台DGX Spark+Mac Studio合体：AI性能暴涨2.8倍
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
