Jupyter Notebook共享使用Kubernetes集群的GPU资源
在Kubernetes集群中如何提高算力资源使用效率一直受到用户关注，公司内部有限GPU资源如何得到充分利用，1，GPU虚拟化，将GPU硬件由独享变成共享使用；2，弹性调度，当申请占用的GPU资源空闲时，释放资源给有需要的用户使用。本篇先介绍如何将GPU虚拟化，如何使用虚拟化的GPU资源。GPU虚拟化的开源解决方案有几个，我们选择的是阿里云的GPU共享方案。 | 安装Nvidia Docker运行时 distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \ && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \ && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update sudo apt-get install -y nvidia-docker2 sudo apt install nvidia-container-toolkit sudo systemctl restart docker sudo tee /etc/docker/daemon.json <<EOF { "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn","http://hub-mirror.c.163.com"], "storage-driver": "overlay2", "default-runtime": "nvidia", "runtimes": { "nvidia": { "path": "/usr/bin/nvidia-container-runtime", "runtimeArgs": [] } } } EOF sudo docker run --rm --gpus all nvidia/cuda:11.