随着人工智能技术的迅猛发展,落地AI推理应用已成为提升企业运营效率的关键措施,然而GPU等AI算力的高价格使得AI应用的起建成本高昂,让很多企业在AI应用的选择上面临较大的资金压力,尤其对于小微企业成了可望而不可及的奢侈品。
超聚变推出基于英特尔CPU的AI推理一体机解决方案,让通用服务器也可以运行AI大模型推理应用,有效降低AI应用的起建成本,为客户提供普惠式AI推理应用机会,帮助企业以较低的投入享受到智能化带来的便利性和价值。
通用服务器运行AI大模型推理所面临的挑战
超聚变 AI推理一体机解决方案
超聚变AI推理一体机解决方案是基于超聚变高性能服务器,搭载第五代英特尔®至强®可扩展处理器,每个CPU具备8个通道DDR5内存,围绕大模型推理计算流程进行多重技术深度改造,可充分发挥CPU算力以满足20B以内大模型推理应用。
该解决方案基于FusionServer 2288H V7部署13B模型,模拟20个用户下发不同数据同时访问,实测整机吞吐量可以达到40tokens/s,是第五代英特尔®至强®可扩展处理器原生通用服务器的2倍,可满足20人以内的团队AI推理使用。
当前,数字经济发展迎来新一轮机遇期,智能算力为数字经济创新提供了核心动力。超聚变通过纵向做深、横向拓展,持续焕新计算产业生态,将持续携手生态伙伴,释放算力新价值,让算力更好地服务您。