K8S 部署 Deepseek 要 3 天？别逗了！Ollama+GPU Operator 1 小时搞定

最近一年我都在依赖大模型辅助工作，比如 DeepSeek、豆包、Qwen等等。线上大模型确实方便，敲几个字就能生成文案、写代码、做表格，极大提高了效率。但对于企业来说：公司内部数据敏感、使用外部大模型会有数据泄露的风险。
尤其是最近给 Rainbond 开源社区的用户答疑时，发现大家对大模型私有化部署有需求，都希望把大模型部署到企业内网，既能按需定制优化，又能保障安全合规。
网上教程虽多，但大多零散且偏向极客操作，真正能落地到生产环境的少之又少。稍微花了点时间，终于跑通了一套全链路解决方案：

• Ollama：让大模型从文件变成可运行的服务，专治模型跑不起来的千古难题。
  
• RKE2：RKE2 是 Rancher 推出的轻量化 K8s，比传统 K8s 节省 50% 资源，适合本地服务器。
  

• Rainbond：让复杂的集群管理去技术化，非运维人员也能轻松管好大模型服务。
  
• GPU Operator：一站式部署，显卡驱动安装零干预、容器运行时统一管理、深度集成 K8S。
  

这套组合对开发者和企业来说，意味着效率与安全的双重升级：开发者无需处理模型环境和集群配置，Ollama+Rainbond 让部署从 “写代码” 变成 “点鼠标”，专注业务逻辑；企业则实现数据本地化，通过 RKE2 安全策略和 Rainbond 权限管理满足合规要求，搭配 GPU Operator 提升硬件利用率，让私有化部署既简单又高效。
接下来的教程，我会从服务器准备到环境搭建再到大模型部署，拆解每个关键步骤。无论你是想搭建企业专属大模型服务，还是探索本地化 AI 应用，跟着教程走，都能少走弯路，快速落地一个安全、高效、易管理的大模型部署方案。
准备

首先需要一台干净的 GPU 服务器，推荐硬件配置如下（以 NVIDIA A100 为例）：

• CPU：14 核及以上
  
• 内存：56GB 及以上
  
• GPU：NVIDIA A100（24GB 显存，支持其他 CUDA 兼容显卡，需确认GPU Operator 支持列表
  
• 操作系统：Ubuntu 22.04（需匹配 GPU Operator 支持的系统版本
  

部署 RKE2

先以单节点集群为例快速落地演示。
1. 创建 RKE2 配置

创建私有镜像仓库配置（Rainbond 默认的私有镜像仓库）

1. mkdir -p /etc/rancher/rke2

复制代码

[code]cat > /etc/rancher/rke2/registries.yaml  /etc/rancher/rke2/config.yaml  gpu-values.yaml  /etc/rancher/rke2/config.yaml  cuda-sample.yaml  values.yaml  集群 -> 编辑集群信息</strong>，复制 WebSocket 地址。在本地浏览器或 Postman 中测试该地址连通性。</p></blockquote>2. 配置模型访问端口

在 Ollama 组件详情页中，找到端口设置项：

• 将默认的 HTTP 协议修改为 TCP
  
• 复制生成的访问地址（格式为 http://你的服务器IP:随机端口，如 http://10.0.0.5:30000）。
  

注意：若使用域名访问，请在网关管理中绑定您的域名。

接入到 Chatbox 使用

1. 下载并安装 Chatbox

从 Chatbox 官方网站 下载对应平台的客户端（支持 Windows/macOS/Linux），完成安装后启动应用。
2. 添加 Ollama API 地址

进入 Chatbox 设置界面（点击左上角菜单 -> 设置 -> 模型管理）：

• 点击添加自定义模型，选择Ollama类型
  
• 在地址栏粘贴 Rainbond 中获取的访问地址（如 http://10.0.0.5:30000），点击保存
  
• 系统会自动识别已部署的模型（如 deepseek-r1:32b），无需手动配置参数。
  

3. 开始对话

返回主界面，选择刚刚添加的 DeepSeek R1 模型，即可进入聊天窗口：

• 输入问题，点击发送
  
• 模型会实时返回响应，支持流式输出和历史对话记录查看。
  

最后

通过 Ollama、RKE2、Rainbond 与 GPU Operator 的高效组合，1 小时内即可完成 Deepseek 大模型的私有化部署。这仅仅是大模型私有部署的第一步，后续可依托 Rainbond 的快速开发能力，通过微服务构建、可视化编排等功能，轻松实现业务系统与大模型的深度集成，让企业在安全可控的本地化环境中，灵活调用大模型能力，加速 AI 应用落地。

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！