gpt4 book ai didi

实例演示如何使用CCEXGPU虚拟化

转载 作者:撒哈拉 更新时间:2024-04-01 12:52:21 56 4
gpt4 key购买 nike

本文分享自华为云社区《CCE XGPU虚拟化的使用》,作者: 可以交个朋友.

一 背景

在互联网场景中,用户的AI训练和推理任务对GPU虚拟化有着强烈的诉求。GPU卡作为重要的计算资源不管是在算法训练还是预测上都不可或缺,而对于常见的算法训练业务或智能业务都有往容器迁移演进的趋势,所以如何更好的利用GPU资源成了容器云平台需要解决的问题。云厂商如果提供GPU虚拟化可以为用户带来的如下收益

  • 提高资源利用率(GPU/显存)。GPU共享后,总利用率接近运行任务利用率之和,减少了资源浪费。
  • 提高服务质量(QoS),增强公平性。多个任务既可以同时开始享受资源,也可以单独保证某一个任务的运行。
  • 减少任务排队时间和总任务的消耗时间。假设两个任务结束时间分别是x,y,通过GPU共享,两个任务全部结束的时间小于x+y。
  • 集群中可以运行更多任务,通过分时复用,减少抢占。