Docker Desktop 中的 GPU 支持
目录
注意
目前，Docker Desktop 中的 GPU 支持仅在具有 WSL2 后端的 Windows 上可用。
将 NVIDIA GPU 与 WSL2 结合使用
适用于 Windows 的 Docker Desktop 支持 NVIDIA GPU 上的 WSL 2 GPU 半虚拟化 （GPU-PV）。要启用 WSL 2 GPU 半虚拟化，您需要：
- 一台配备 NVIDIA GPU 的机器
- 最新的 Windows 10 或 Windows 11 安装
- 来自 NVIDIA 的最新驱动程序，支持 WSL 2 GPU 半虚拟化
- 最新版本的 WSL 2 Linux 内核。在命令行上使用
wsl --update - 确保在 Docker Desktop 中打开 WSL 2 后端
要验证一切是否按预期工作，请执行带有 flag 的命令。例如，以下代码将在您的 GPU 上运行一个简短的基准测试：docker run--gpus=all
$ docker run --rm -it --gpus=all nvcr.io/nvidia/k8s/cuda-sample:nbody nbody -gpu -benchmark
输出将类似于：
Run "nbody -benchmark [-numbodies=<numBodies>]" to measure performance.
-fullscreen (run n-body simulation in fullscreen mode)
-fp64 (use double precision floating point values for simulation)
-hostmem (stores simulation data in host memory)
-benchmark (run benchmark to measure performance)
-numbodies=<N> (number of bodies (>= 1) to run in simulation)
-device=<d> (where d=0,1,2.... for the CUDA device to use)
-numdevices=<i> (where i=(number of CUDA devices > 0) to use for simulation)
-compare (compares simulation results running once on the default GPU and once on the CPU)
-cpu (run n-body simulation on the CPU)
-tipsy=<file.bin> (load a tipsy model file for simulation)
> NOTE: The CUDA Samples are not meant for performance measurements. Results may vary when GPU Boost is enabled.
> Windowed mode
> Simulation data stored in video memory
> Single precision floating point simulation
> 1 Devices used for simulation
MapSMtoCores for SM 7.5 is undefined. Default to use 64 Cores/SM
GPU Device 0: "GeForce RTX 2060 with Max-Q Design" with compute capability 7.5
> Compute 7.5 CUDA device: [GeForce RTX 2060 with Max-Q Design]
30720 bodies, total time for 10 iterations: 69.280 ms
= 136.219 billion interactions per second
= 2724.379 single-precision GFLOP/s at 20 flops per interaction
或者，如果您想尝试更有用的方法，您可以使用官方 Ollama 镜像来运行 Llama2 大型语言模型。
$ docker run --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
$ docker exec -it ollama ollama run llama2