在近日举办的火山引擎AI创新巡展(上海站)活动中，火山引擎总裁谭待表示，豆包大模型在三个月内综合能力提升了20.3%，在降低价格门槛的同时确保高性能，让大模型更容易在千行百业落地。
在今年5月举办的Force原动力大会上，字节跳动发布了豆包大模型，并将推理成本打到最低，豆包通用模型pro在企业市场的推理输入定价为0.0008元/千Tokens。
豆包通用模型pro为客户提供业内最高标准的初始 TPM(每分钟 Tokens)和 RPM(每分钟请求数)，有助于企业的业务在高并发场景中落地。
在演讲中，谭待以经常出现高并发、高负载的企业客服行业为例，分享了豆包大模型的性能情况。
他表示，在企业客服行业，随着交易量出现波峰、波谷，场景始终在不断变化。而凭借豆包大模型，以及火山引擎的能力和服务，已经帮助很多企业客服客户优化了效果，并支持住最高并发挑战。
火山引擎智能算法负责人、火山方舟负责人吴迪则表示，为应对企业日常业务的真实需求，火山引擎通过将调度做到极致，在成本方面极具优势。
同时，火山引擎支持在分钟级时间段内，完成数千卡伸缩，有效支持突发流量和业务高峰。火山引擎推出的批量推理模式，使得接入豆包模型批量推理模式的客户，默认可获得13亿tokens的起始额度。
沐瞳智能服务负责人张文文则在现场分享了沐瞳与火山引擎合作的真实案例。沐瞳通过将豆包大模型能力应用于旗下游戏的 AI实时判罚场景，基于游戏内聊天文本对辱骂/攻击性发言进行识别，取得良好的真实效果。
他表示，在对战游戏领域，玩家很容易情绪激动，情不自禁地“口吐芬芳”。如不能对此有效管理，则可能导致玩家流失、游戏口碑下降。
大模型出现之前，对于这种情况的传统解法，只有关键字屏蔽，以及客服解决等。但真实场景是，游戏中每天发生上亿场战斗，其中三百万场可能出现相关投诉，只依靠客服处理并不现实。
在使用豆包大模型后，与举报相关的聊天记录会发给大模型，以编制过的prompt，让大模型对其加以识别，再根据识别结果做出针对性的判罚、处理、禁言等。最终，召回率超过80%，个别语种甚至能够超过90%，并且用通用模型即可管理52种语言的业务。
火山引擎云基础产品负责人罗浩则表示，在与沐瞳的合作中，大量用到了各种的云基础，以及包括豆包大模型在内的火山引擎AI产品，并且所有的产品使用都在同一朵云之上，在整体调用过程中也没有出现额外的流量成本，调用的延时也做到了最优化。
在现场，罗浩还列举了客户美图的具体案例，进一步解读了企业如何在具体业务场景中更高效地利用火山引擎的云端资源。他表示，火山引擎提供弹性资源池，利用潮汐算力，使得美图在整体使用GPU和CPU云资源时，成本达到最优化。
本文链接：http://www.28at.com/showinfo-45-6533-0.html火山引擎：提供超高性价比，简化企业 AI 应用落地门槛
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
