Docker部署Ollama模型

技术背景

前面写过几篇关于DeepSeek大模型的本地部署以及本地Docker部署OpenClaw的教程。但是这里边的Ollama都是直接部署在裸机上的，图个方便，想来还是不妥，于是补充本文，基于Ubuntu Linux的Docker环境中部署Ollama模型的方法。
Docker部署

先查看系统中是否安装了nvidia-container-toolkit：

1. $ dpkg -l | grep nvidia-container-toolkit
2. ii  nvidia-container-toolkit                   1.13.5-1                                amd64        NVIDIA Container toolkit
3. ii  nvidia-container-toolkit-base              1.13.5-1                                amd64        NVIDIA Container Toolkit Base

复制代码

如果没有安装，可以参考一下之前写过的这篇博客进行安装。然后就是在DockerHub拉取Ollama的镜像（如有必要，请自行配置Docker源）：

1. $ docker pull ollama/ollama
2. Using default tag: latest
3. latest: Pulling from ollama/ollama
4. 817807f3c64e: Pull complete
5. ae25ca5ada6c: Pull complete
6. 2608ea1d5119: Pull complete
7. 84d58e6813b6: Pull complete
8. Digest: sha256:
9. Status: Downloaded newer image for ollama/ollama:latest
10. docker.io/ollama/ollama:latest

复制代码

拉取完成后，就可以在本地看到Ollama的镜像：

1. $ docker images
2. REPOSITORY                     TAG                  IMAGE ID       CREATED        SIZE
3. ollama/ollama                  latest               bc1c           3 hours ago    6.01GB

复制代码

然后就可以启动一个带GPU环境的Ollama容器：

1. $ docker run -d --name my-ollama.docker --runtime=nvidia -p xxx:11434 -v ~/.ollama:/root/.ollama --gpus all ollama/ollama
2. 7ae5

复制代码

这里边有两个重要参数配置：--runtime=nvidia还有--gpus all都需要配上，否则无法调用到GPU算力。具体用哪些GPU，这个就按照自己的环境来。然后就可以在Docker的容器列表中看到这一条（这里xxx就是你配置的本地监听端口）：

1. $ docker ps -a
2. CONTAINER ID   IMAGE                                 COMMAND                   CREATED         STATUS                  PORTS                                           NAMES
3. 7ae5   ollama/ollama                         "/bin/ollama serve"       7 seconds ago   Up 6 seconds            0.0.0.0:xxx->11434/tcp, [::]:xxx->11434/tcp   my-ollama.docker

复制代码

然后可以使用该镜像直接pull远程模型，例如这里pull一个qwen3.5的模型：

1. $ docker exec -it my-ollama.docker ollama pull qwen3.5:latest
2. $ docker exec -it my-ollama.docker ollama list
3. NAME              ID              SIZE      MODIFIED
4. qwen3.5:latest    96fa            6.6 GB    18 hours ago

复制代码

pull完成后，可以查看模型的具体信息：

1. $ docker exec -it my-ollama.docker ollama show qwen3.5:latest
2.   Model
3.     architecture        qwen35
4.     parameters          9.7B
5.     context length      262144
6.     embedding length    4096
7.     quantization        Q4_K_M
8.     requires            0.17.1
10.   Capabilities
11.     completion
12.     vision
13.     tools
14.     thinking
16.   Parameters
17.     presence_penalty    1.5
18.     temperature         1
19.     top_k               20
20.     top_p               0.95
22.   License
23.     Apache License
24.     Version 2.0, January 2004
25.     ...

复制代码

可以看到这里下载的是一个Q4_K_M的量化模型，如果有需要，可以自己检索一下看看哪个模型更适合自己。最后再确认GPU是否能够正常调用：

1. $ docker exec -it my-ollama.docker nvidia-smi
2. Mon Mar 23 06:27:21 2026
3. +---------------------------------------------------------------------------------------+
4. | NVIDIA-SMI 535.274.02             Driver Version: 535.274.02   CUDA Version: 12.2     |
5. |-----------------------------------------+----------------------+----------------------+
6. | GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
7. | Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
8. |                                         |                      |               MIG M. |
9. |=========================================+======================+======================|

复制代码

能够正常看到GPU，就代表这个环境没问题，Ollama的镜像是自带显卡驱动的。
Ollama模型测试

完成Ollama的Docker环境配置后，就可以在本地进行测试了：
[code]$ curl http://localhost:xxx/api/generate -d '{  "model": "qwen3.5:latest",  "prompt": "who are you?",  "stream": false}'{"model":"qwen3.5:latest","created_at":"2026-03-23T06:28:08.27341445Z","response":"I'm **Qwen3.5**, a large language model developed by Tongyi Lab. I'm here to help with tasks like answering questions, creating content, coding, analyzing data, and more. I support over 100 languages, handle long documents with full context, and can even visualize data or generate code. What would you like to do?
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！