在 Kubernetes 中部署 LiteLLM

前言

本文仅为 LiteLLM 部署流程，非 LiteLLM 使用教程。
部署环境：阿里云ACK
部署方式：PostgreSQL + Redis + LiteLLM
参考链接：官网文档
LiteLLM 部署流程

Redis 部署

可实现多个 litellm 容器间的负载均衡
本次使用 bitnami 提供的 redis 版本，yaml 文件中使用的环境变量可参考对应文档添加或更改

需要注意的是，bitnami 在 2025 下半年终止了免费镜像的提供。本次 yaml 中不提供具体镜像地址，可自行去渡渡鸟或其他镜像站同步

1. apiVersion: apps/v1
2. kind: StatefulSet
3. metadata:
4.   annotations:
5.   labels:
6.     app.kubernetes.io/component: master
7.     app.kubernetes.io/instance: litellm
8.     app.kubernetes.io/name: redis
9.   name: litellm-redis-master
10.   namespace: litellm
11. spec:
12.   podManagementPolicy: OrderedReady
13.   replicas: 1
14.   selector:
15.     matchLabels:
16.       app.kubernetes.io/component: master
17.       app.kubernetes.io/instance: litellm
18.       app.kubernetes.io/name: redis
19.   serviceName: litellm-redis-headless
20.   template:
21.     metadata:
22.       annotations:
23.       labels:
24.         app.kubernetes.io/component: master
25.         app.kubernetes.io/instance: litellm
26.         app.kubernetes.io/name: redis
27.     spec:
28.       containers:
29.       - args:
30.         - -c
31.         - /opt/bitnami/scripts/start-scripts/start-master.sh
32.         command:
33.         - /bin/bash
34.         env:
35.         - name: BITNAMI_DEBUG
36.           value: "false"
37.         - name: REDIS_REPLICATION_MODE
38.           value: master
39.         - name: ALLOW_EMPTY_PASSWORD
40.           value: "no"
41.         - name: REDIS_PASSWORD
42.           valueFrom:
43.             secretKeyRef:
44.               key: redis-password
45.               name: litellm-redis
46.         - name: REDIS_TLS_ENABLED
47.           value: "no"
48.         - name: REDIS_PORT
49.           value: "6379"
50.         image:   ## FIXME: 本次使用 bitnami 提供的 redos:7.0.12
51.         imagePullPolicy: IfNotPresent
52.         livenessProbe:
53.           exec:
54.             command:
55.             - sh
56.             - -c
57.             - /health/ping_liveness_local.sh 5
58.           failureThreshold: 5
59.           initialDelaySeconds: 20
60.           periodSeconds: 5
61.           successThreshold: 1
62.           timeoutSeconds: 6
63.         name: redis
64.         ports:
65.         - containerPort: 6379
66.           name: redis
67.           protocol: TCP
68.         readinessProbe:
69.           exec:
70.             command:
71.             - sh
72.             - -c
73.             - /health/ping_readiness_local.sh 1
74.           failureThreshold: 5
75.           initialDelaySeconds: 20
76.           periodSeconds: 5
77.           successThreshold: 1
78.           timeoutSeconds: 2
79.         securityContext:
80.           runAsUser: 1001
81.         volumeMounts:
82.         - mountPath: /opt/bitnami/scripts/start-scripts
83.           name: start-scripts
84.         - mountPath: /health
85.           name: health
86.         - mountPath: /data
87.           name: redis-data
88.         - mountPath: /opt/bitnami/redis/mounted-etc
89.           name: config
90.         - mountPath: /opt/bitnami/redis/etc/
91.           name: redis-tmp-conf
92.         - mountPath: /tmp
93.           name: tmp
94.       dnsPolicy: ClusterFirst
95.       imagePullSecrets:
96.       - name: deepflow
97.       restartPolicy: Always
98.       schedulerName: default-scheduler
99.       securityContext:
100.         fsGroup: 1001
101.       terminationGracePeriodSeconds: 30
102.       volumes:
103.       - configMap:
104.           defaultMode: 493
105.           name: litellm-redis-scripts
106.         name: start-scripts
107.       - configMap:
108.           defaultMode: 493
109.           name: litellm-redis-health
110.         name: health
111.       - configMap:
112.           defaultMode: 420
113.           name: litellm-redis-configuration
114.         name: config
115.       - emptyDir: {}
116.         name: redis-tmp-conf
117.       - emptyDir: {}
118.         name: tmp
119.       ## 本次使用 emptyDir 方式临时存储数据
120.       - emptyDir: {}
121.         name: redis-data
122.   ## 此处可自行选择使用 PVC 或者 emptyDir 方式存储数据
123.   # volumeClaimTemplates:
124.   # - apiVersion: v1
125.   #   kind: PersistentVolumeClaim
126.   #   metadata:
127.   #     labels:
128.   #       app.kubernetes.io/component: master
129.   #       app.kubernetes.io/instance: litellm
130.   #       app.kubernetes.io/name: redis
131.   #     name: redis-data
132.   #     namespace: litellm
133.   #   spec:
134.   #     accessModes:
135.   #     - ReadWriteOnce
136.   #     resources:
137.   #       requests:
138.   #         storage: 20Gi
139.   ## 需要注意的是,SC 并不通用(不同地区/节点可能无法使用同一个)
140.   #     storageClassName: "alicloud-disk-essd"
141.   #     volumeMode: Filesystem
143. ---
144. apiVersion: v1
145. data:
146.   master.conf: |-
147.     dir /data
148.     # User-supplied master configuration:
149.     rename-command FLUSHDB ""
150.     rename-command FLUSHALL ""
151.     # End of master configuration
152.   redis.conf: |-
153.     # User-supplied common configuration:
154.     # Enable AOF https://redis.io/topics/persistence#append-only-file
155.     appendonly yes
156.     # Disable RDB persistence, AOF persistence already enabled.
157.     save ""
158.     # End of common configuration
159.   replica.conf: |-
160.     dir /data
161.     # User-supplied replica configuration:
162.     rename-command FLUSHDB ""
163.     rename-command FLUSHALL ""
164.     # End of replica configuration
165. kind: ConfigMap
166. metadata:
167.   annotations:
168.   labels:
169.     app.kubernetes.io/instance: litellm
170.     app.kubernetes.io/name: redis
171.   name: litellm-redis-configuration
172.   namespace: litellm
174. ---
175. apiVersion: v1
176. data:
177.   ping_liveness_local.sh: |-
178.     #!/bin/bash
180.     [[ -f $REDIS_PASSWORD_FILE ]] && export REDIS_PASSWORD="$(< "${REDIS_PASSWORD_FILE}")"
181.     [[ -n "$REDIS_PASSWORD" ]] && export REDISCLI_AUTH="$REDIS_PASSWORD"
182.     response=$(
183.       timeout -s 3 $1 \
184.       redis-cli \
185.         -h localhost \
186.         -p $REDIS_PORT \
187.         ping
188.     )
189.     if [ "$?" -eq "124" ]; then
190.       echo "Timed out"
191.       exit 1
192.     fi
193.     responseFirstWord=$(echo $response | head -n1 | awk '{print $1;}')
194.     if [ "$response" != "PONG" ] && [ "$responseFirstWord" != "LOADING" ] && [ "$responseFirstWord" != "MASTERDOWN" ]; then
195.       echo "$response"
196.       exit 1
197.     fi
198.   ping_liveness_local_and_master.sh: |-
199.     script_dir="$(dirname "$0")"
200.     exit_status=0
201.     "$script_dir/ping_liveness_local.sh" $1 || exit_status=$?
202.     "$script_dir/ping_liveness_master.sh" $1 || exit_status=$?
203.     exit $exit_status
204.   ping_liveness_master.sh: |-
205.     #!/bin/bash
207.     [[ -f $REDIS_MASTER_PASSWORD_FILE ]] && export REDIS_MASTER_PASSWORD="$(< "${REDIS_MASTER_PASSWORD_FILE}")"
208.     [[ -n "$REDIS_MASTER_PASSWORD" ]] && export REDISCLI_AUTH="$REDIS_MASTER_PASSWORD"
209.     response=$(
210.       timeout -s 3 $1 \
211.       redis-cli \
212.         -h $REDIS_MASTER_HOST \
213.         -p $REDIS_MASTER_PORT_NUMBER \
214.         ping
215.     )
216.     if [ "$?" -eq "124" ]; then
217.       echo "Timed out"
218.       exit 1
219.     fi
220.     responseFirstWord=$(echo $response | head -n1 | awk '{print $1;}')
221.     if [ "$response" != "PONG" ] && [ "$responseFirstWord" != "LOADING" ]; then
222.       echo "$response"
223.       exit 1
224.     fi
225.   ping_readiness_local.sh: |-
226.     #!/bin/bash
228.     [[ -f $REDIS_PASSWORD_FILE ]] && export REDIS_PASSWORD="$(< "${REDIS_PASSWORD_FILE}")"
229.     [[ -n "$REDIS_PASSWORD" ]] && export REDISCLI_AUTH="$REDIS_PASSWORD"
230.     response=$(
231.       timeout -s 3 $1 \
232.       redis-cli \
233.         -h localhost \
234.         -p $REDIS_PORT \
235.         ping
236.     )
237.     if [ "$?" -eq "124" ]; then
238.       echo "Timed out"
239.       exit 1
240.     fi
241.     if [ "$response" != "PONG" ]; then
242.       echo "$response"
243.       exit 1
244.     fi
245.   ping_readiness_local_and_master.sh: |-
246.     script_dir="$(dirname "$0")"
247.     exit_status=0
248.     "$script_dir/ping_readiness_local.sh" $1 || exit_status=$?
249.     "$script_dir/ping_readiness_master.sh" $1 || exit_status=$?
250.     exit $exit_status
251.   ping_readiness_master.sh: |-
252.     #!/bin/bash
254.     [[ -f $REDIS_MASTER_PASSWORD_FILE ]] && export REDIS_MASTER_PASSWORD="$(< "${REDIS_MASTER_PASSWORD_FILE}")"
255.     [[ -n "$REDIS_MASTER_PASSWORD" ]] && export REDISCLI_AUTH="$REDIS_MASTER_PASSWORD"
256.     response=$(
257.       timeout -s 3 $1 \
258.       redis-cli \
259.         -h $REDIS_MASTER_HOST \
260.         -p $REDIS_MASTER_PORT_NUMBER \
261.         ping
262.     )
263.     if [ "$?" -eq "124" ]; then
264.       echo "Timed out"
265.       exit 1
266.     fi
267.     if [ "$response" != "PONG" ]; then
268.       echo "$response"
269.       exit 1
270.     fi
271. kind: ConfigMap
272. metadata:
273.   annotations:
274.   labels:
275.     app.kubernetes.io/instance: litellm
276.     app.kubernetes.io/name: redis
277.   name: litellm-redis-health
278.   namespace: litellm
280. ---
281. apiVersion: v1
282. data:
283.   start-master.sh: |
284.     #!/bin/bash
286.     [[ -f $REDIS_PASSWORD_FILE ]] && export REDIS_PASSWORD="$(< "${REDIS_PASSWORD_FILE}")"
287.     if [[ ! -f /opt/bitnami/redis/etc/master.conf ]];then
288.         cp /opt/bitnami/redis/mounted-etc/master.conf /opt/bitnami/redis/etc/master.conf
289.     fi
290.     if [[ ! -f /opt/bitnami/redis/etc/redis.conf ]];then
291.         cp /opt/bitnami/redis/mounted-etc/redis.conf /opt/bitnami/redis/etc/redis.conf
292.     fi
293.     ARGS=("--port" "${REDIS_PORT}")
294.     ARGS+=("--requirepass" "${REDIS_PASSWORD}")
295.     ARGS+=("--masterauth" "${REDIS_PASSWORD}")
296.     ARGS+=("--include" "/opt/bitnami/redis/etc/redis.conf")
297.     ARGS+=("--include" "/opt/bitnami/redis/etc/master.conf")
298.     exec redis-server "${ARGS[@]}"
299. kind: ConfigMap
300. metadata:
301.   annotations:
302.   labels:
303.     app.kubernetes.io/instance: litellm
304.     app.kubernetes.io/name: redis
305.   name: litellm-redis-scripts
306.   namespace: litellm
308. ---
309. apiVersion: v1
310. data:
311.   redis-password:  ## FIXME: 自行通过 base64 编码后设置 Redis 密码
312. kind: Secret
313. metadata:
314.   annotations:
315.   labels:
316.     app.kubernetes.io/instance: litellm
317.     app.kubernetes.io/name: redis
318.   name: litellm-redis
319.   namespace: litellm
320. type: Opaque
322. ---
323. apiVersion: v1
324. kind: Service
325. metadata:
326.   annotations:
327.   labels:
328.     app.kubernetes.io/instance: litellm
329.     app.kubernetes.io/name: redis
330.   name: litellm-redis-headless
331.   namespace: litellm
332. spec:
333.   clusterIP: None
334.   clusterIPs:
335.   - None
336.   internalTrafficPolicy: Cluster
337.   ipFamilies:
338.   - IPv4
339.   ipFamilyPolicy: SingleStack
340.   ports:
341.   - name: tcp-redis
342.     port: 6379
343.     protocol: TCP
344.     targetPort: redis
345.   publishNotReadyAddresses: true
346.   selector:
347.     app.kubernetes.io/instance: litellm
348.     app.kubernetes.io/name: redis
349.   type: ClusterIP
351. ---
352. apiVersion: v1
353. kind: Service
354. metadata:
355.   annotations:
356.   labels:
357.     app.kubernetes.io/component: master
358.     app.kubernetes.io/instance: litellm
359.     app.kubernetes.io/name: redis
360.   name: litellm-redis-master
361.   namespace: litellm
362. spec:
363.   internalTrafficPolicy: Cluster
364.   ipFamilies:
365.   - IPv4
366.   ipFamilyPolicy: SingleStack
367.   ports:
368.   - name: tcp-redis
369.     port: 6379
370.     protocol: TCP
371.     targetPort: redis
372.   selector:
373.     app.kubernetes.io/component: master
374.     app.kubernetes.io/instance: litellm
375.     app.kubernetes.io/name: redis
376.   type: ClusterIP

复制代码

PostgreSQL 部署

当使用 Postgres 作为后端数据库时，可以启用 虚拟 Key 和 费用追踪 功能：

• 虚拟 Key：不是写在配置文件里的静态 key，而是存储在数据库中的逻辑 key。没有数据库就无法可靠地管理这些 Key。
  
• 费用追踪：每一次模型调用都会持久化写入数据库，从而支持账单、配额等功能
  

本次使用 bitnami 提供的 postgres 版本，yaml 文件中使用的环境变量可参考对应文档添加或更改

需要注意的是，bitnami 在 2025 下半年终止了免费镜像的提供。本次 yaml 中不提供具体镜像地址，可自行去渡渡鸟或其他镜像站同步

1. apiVersion: apps/v1
2. kind: StatefulSet
3. metadata:
4.   annotations:
5.   labels:
6.     app.kubernetes.io/component: primary
7.     app.kubernetes.io/instance: litellm
8.     app.kubernetes.io/name: postgresql
9.   name: litellm-postgresql
10.   namespace: litellm
11. spec:
12.   podManagementPolicy: OrderedReady
13.   replicas: 1
14.   selector:
15.     matchLabels:
16.       app.kubernetes.io/component: primary
17.       app.kubernetes.io/instance: litellm
18.       app.kubernetes.io/name: postgresql
19.   serviceName: litellm-postgresql-hl
20.   template:
21.     metadata:
22.       labels:
23.         app.kubernetes.io/component: primary
24.         app.kubernetes.io/instance: litellm
25.         app.kubernetes.io/name: postgresql
26.       name: litellm-postgresql
27.     spec:
28.       containers:
29.       - env:
30.         - name: BITNAMI_DEBUG
31.           value: "false"
32.         - name: POSTGRESQL_PORT_NUMBER
33.           value: "5432"
34.         - name: POSTGRESQL_VOLUME_DIR
35.           value: /bitnami/postgresql
36.         - name: PGDATA
37.           value: /bitnami/postgresql/data
38.         - name: POSTGRES_PASSWORD
39.           valueFrom:
40.             secretKeyRef:
41.               key: postgres-password
42.               name: litellm-postgresql
43.         - name: POSTGRES_DB
44.           value: litellm
45.         - name: POSTGRESQL_ENABLE_LDAP
46.           value: "no"
47.         - name: POSTGRESQL_ENABLE_TLS
48.           value: "no"
49.         - name: POSTGRESQL_LOG_HOSTNAME
50.           value: "false"
51.         - name: POSTGRESQL_LOG_CONNECTIONS
52.           value: "false"
53.         - name: POSTGRESQL_LOG_DISCONNECTIONS
54.           value: "false"
55.         - name: POSTGRESQL_PGAUDIT_LOG_CATALOG
56.           value: "off"
57.         - name: POSTGRESQL_CLIENT_MIN_MESSAGES
58.           value: error
59.         - name: POSTGRESQL_SHARED_PRELOAD_LIBRARIES
60.           value: pgaudit
61.         image: ## FIXME: 本次使用 bitnami 提供的 postgresql:15.3.0-debian-11-r7
62.         imagePullPolicy: IfNotPresent
63.         livenessProbe:
64.           exec:
65.             command:
66.             - /bin/sh
67.             - -c
68.             - exec pg_isready -U "postgres" -d "dbname=litellm" -h 127.0.0.1 -p 5432
69.           failureThreshold: 6
70.           initialDelaySeconds: 30
71.           periodSeconds: 10
72.           successThreshold: 1
73.           timeoutSeconds: 5
74.         name: postgresql
75.         ports:
76.         - containerPort: 5432
77.           name: tcp-postgresql
78.           protocol: TCP
79.         readinessProbe:
80.           exec:
81.             ## 注: 此处 command 手动添加了通过 postgres 用户创建 litellm 库的步骤，便于 litellm 部署时直接引用
82.             command:
83.             - /bin/sh
84.             - -c
85.             - -e
86.             - |
87.               exec pg_isready -U "postgres" -d "dbname=litellm" -h 127.0.0.1 -p 5432
88.               [ -f /opt/bitnami/postgresql/tmp/.initialized ] || [ -f /bitnami/postgresql/.initialized ]
89.           failureThreshold: 6
90.           initialDelaySeconds: 5
91.           periodSeconds: 10
92.           successThreshold: 1
93.           timeoutSeconds: 5
94.         resources:
95.           requests:
96.             cpu: 250m
97.             memory: 256Mi
98.         securityContext:
99.           runAsUser: 1001
100.         volumeMounts:
101.         - mountPath: /dev/shm
102.           name: dshm
103.         - mountPath: /bitnami/postgresql
104.           name: litellm-postgresql
105.       dnsPolicy: ClusterFirst
106.       restartPolicy: Always
107.       securityContext:
108.         fsGroup: 1001
109.       volumes:
110.       - emptyDir:
111.           medium: Memory
112.         name: dshm
113.       ## 本次使用 emptyDir 方式临时存储
114.       - emptyDir: {}
115.         name: litellm-postgresql
116.   ## 此处可自行选择使用 PVC 或者 emptyDir 方式存储数据
117.   # volumeClaimTemplates:
118.   # - apiVersion: v1
119.   #   kind: PersistentVolumeClaim
120.   #   metadata:
121.   #     name: litellm-postgresql
122.   #     namespace: litellm
123.   #   spec:
124.   #     accessModes:
125.   #     - ReadWriteOnce
126.   #     resources:
127.   #       requests:
128.   #         storage: 20Gi
129.   #     storageClassName: "alicloud-disk-topology-alltype"
130.   #     volumeMode: Filesystem
132. ---
133. apiVersion: v1
134. kind: Service
135. metadata:
136.   annotations:
137.   labels:
138.     app.kubernetes.io/component: primary
139.     app.kubernetes.io/instance: litellm
140.     app.kubernetes.io/name: postgresql
141.   name: litellm-postgresql
142.   namespace: litellm
143. spec:
144.   internalTrafficPolicy: Cluster
145.   ipFamilies:
146.   - IPv4
147.   ipFamilyPolicy: SingleStack
148.   ports:
149.   - name: tcp-postgresql
150.     port: 5432
151.     protocol: TCP
152.     targetPort: tcp-postgresql
153.   selector:
154.     app.kubernetes.io/component: primary
155.     app.kubernetes.io/instance: litellm
156.     app.kubernetes.io/name: postgresql
157.   type: ClusterIP
159. ---
160. apiVersion: v1
161. kind: Service
162. metadata:
163.   annotations:
164.   labels:
165.     app.kubernetes.io/component: primary
166.     app.kubernetes.io/instance: litellm
167.     app.kubernetes.io/name: postgresql
168.     service.alpha.kubernetes.io/tolerate-unready-endpoints: "true"
169.   name: litellm-postgresql-hl
170.   namespace: litellm
171. spec:
172.   internalTrafficPolicy: Cluster
173.   ipFamilies:
174.   - IPv4
175.   ipFamilyPolicy: SingleStack
176.   ports:
177.   - name: tcp-postgresql
178.     port: 5432
179.     protocol: TCP
180.     targetPort: tcp-postgresql
181.   publishNotReadyAddresses: true
182.   selector:
183.     app.kubernetes.io/component: primary
184.     app.kubernetes.io/instance: litellm
185.     app.kubernetes.io/name: postgresql
186.   type: ClusterIP
188. ---
189. apiVersion: v1
190. data:
191.   postgres-password:   ## FIXME: 自行通过 base64 编码后设置 postgres 密码
192. kind: Secret
193. metadata:
194.   annotations:
195.   labels:
196.     app.kubernetes.io/instance: litellm
197.     app.kubernetes.io/name: postgresql
198.   name: litellm-postgresql
199.   namespace: litellm
200. type: Opaque

复制代码

Litellm 部署

LiteLLM 是一个统一的 AI 接口代理服务，只需要对接 LiteLLM 一个地址，而不用关心后面到底接的是 OpenAI、Azure 或是其他厂商。

1. apiVersion: v1
2. kind: ConfigMap
3. metadata:
4.   name: litellm-config-file
5.   namespace: litellm
6. data:
7.   config.yaml: |
8.     ## 对接 Redis,自行对应上方部署后的值
9.     router_settings:
10.       redis_host: <redis host>
11.       redis_password: <redis password>
12.       redis_port: <redis port>
14. ---
15. apiVersion: v1
16. kind: Secret
17. type: Opaque
18. metadata:
19.   name: litellm-secrets
20.   namespace: litellm
21. data:
22.   ## FIXME: 此变量的作用可参考官网链接,本文部署中未手动在 configMap 中配置 model_list,因此没啥用:
23.   ## https://docs.litellm.ai/docs/proxy/deploy#kubernetes
24.   CA_AZURE_OPENAI_API_KEY:
26. ---
27. apiVersion: apps/v1
28. kind: Deployment
29. metadata:
30.   name: litellm-deployment
31.   namespace: litellm
32.   labels:
33.     app: litellm
34. spec:
35.   selector:
36.     matchLabels:
37.       app: litellm
38.   template:
39.     metadata:
40.       labels:
41.         app: litellm
42.     spec:
43.       ## 注: 由于部署时网络环境原因，本次选择宿主机网络部署。
44.       hostNetwork: true
45.       dnsPolicy: ClusterFirstWithHostNet
46.       containers:
47.       - name: litellm
48.         image: "docker.litellm.ai/berriai/litellm:main-stable"
49.         args:
50.           - "--config"
51.           - "/app/proxy_server_config.yaml"
52.         ports:
53.         - containerPort: 4000
54.         volumeMounts:
55.         - name: config-volume
56.           mountPath: /app/proxy_server_config.yaml
57.           subPath: config.yaml
58.         env:
59.         ## 管理员密钥
60.         - name: LITELLM_MASTER_KEY
61.           value:
62.         ## 连接 postgres 数据库
63.         ## 查看 pgsql yaml 中 command 注释即可
64.         ## postgresql://<user>:<password>@<host>:<port>/<dbname>
65.         - name: DATABASE_URL
66.           value:
67.         envFrom:
68.         - secretRef:
69.             name: litellm-secrets
70.       volumes:
71.         - name: config-volume
72.           configMap:
73.             name: litellm-config-file
75. ---
76. apiVersion: v1
77. kind: Service
78. metadata:
79.   name: litellm-service
80.   namespace: litellm
81. spec:
82.   selector:
83.     app: litellm
84.   ports:
85.     - protocol: TCP
86.       port: 4000
87.   type: ClusterIP

复制代码

Litellm 前端效果

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！