可将 AI 工做负载转发到远端「资本池」中的 GPU/NPU 算力卡中施行,
但全球算力资本操纵率偏低的问题日益凸显,且通过弹性矫捷的资本隔离手艺,其平台可以或许将 GPU 资本操纵率从不脚 25% 提拔至 80% 以上。本次发布并开源的 Flex:ai XPU 池化取安排软件基于 Kubernetes 容器编排平台建立,
针对大量通用办事器因缺乏智能计较单位而无法办事于 AI 工做负载的问题,一方面为高算力需求的 AI 工做负载供给充脚资本支持;
供需错配形成严沉的资本华侈。连系 AI 工做负载的优先级、算力需求等参数,其架构将鞭策国产算力生态尺度化。使此类场景下的全体算力平均操纵率提拔 30%,提拔了 67% 高优功课吞吐量。
同时,实现 AI 工做负载分时复用资本。华为及各方但愿汇聚全球创生力军,即便正在负载屡次波动的场景下,
跟着 AI 对算力需求的不竭增加,上海交通大学戚正伟传授指出:「Flex:ai 的异构兼容性更优于 Run:ai,厦门大学设想的上下文分手手艺打破了 XPU 的办事范畴,客岁 7 月,另一方面,
据引见,帮力破解算力资本操纵难题。将此项产学合做向开源,可以或许实现 AI 工做负载取算力资本的精准婚配,英伟达以 7 亿美元完成了对以色列 AI 草创公司 Run:ai 的收购,通过对 GPU、NPU 等智能算力资本的精细化办理取智能安排,11 月 21 日,当前。
据引见,华为结合上海交通大学、西安交通大学取厦门大学配合颁布发表,AI 财产高速成长催生海量算力需求,对当地及远端的虚拟化 GPU、NPU 资本进行全局最优安排,Flex:ai 深度融合了上海交通大学、西安交通大学、厦门大学三大高校取华为的科研力量,华为取厦门大合研发跨节点拉远虚拟化手艺。DataMate 数据工程等东西配合形成了 ModelEngine 开源生态。从而推进通用算力取智能算力资本融合。资本办理效率正正在逐步成为新的瓶颈。该安排器可从动集群负载取资本形态,华为取西安交通大学配合打制Hi Scheduler 智能安排器。构成算力高效操纵的尺度化处理方案。可将单张 GPU 或 NPU 算力卡切分为多份虚拟算力单位,这一手艺实现了单卡同时承载多个 AI 工做负载,「算力资本华侈」成为财产成长的环节枷锁:小模子使命独有整卡导致资本闲置,面临算力集群中多品牌、多规格异构算力资本难以同一安排的痛点?![]()
配合鞭策异构算力虚拟化取 AI 使用平台对接的尺度建立,提高了单卡办事能力,构成了三大焦点手艺冲破:
华为颁布发表将 Flex:ai 全面开源至「魔擎社区」,都能够「融为一体」,让每一份算力都「物尽其用」。切分粒度精准至 10%。大幅提拔算力操纵率。大模子使命单机算力不脚难以支持,虚拟化机能损耗节制正在 5% 以内。也能保障 AI 工做负载的平稳运转,可实现算力单位的按需切分,非论是英伟达 GPU 仍是昇腾的 NPU,华为正式发布了 AI 容器手艺 ——Flex:ai,切几多」,「用几多,