大模型本地部署搭建【ollama + deepseek + dify】
大模型本地部署搭建【在线】一、ollama的下载、安装、配置
ollama是管理和运行所有开源大模型的平台
下载地址：https://ollama.com/download
或github下载：https://github.com/ollama/ollama/releases/tag/v0.5.7
测试安装成功
[*]win +R 输入cmd打开命令行
[*]输入 ollama 命令
[*]使用ollama list命令查看有哪些大模型可以使用。
ollama系统配置【建议改完后重启下】
1、打开环境变量配置界面
2、在用户变量中添加两个变量
[*]OLLAMA_HOST ：0.0.0.0:11434 【用于本机访问，知识库是运行在一个虚拟机docker中的，需要一个穿透】
[*]OLLAMA_MODELS ：F:\OllamaModels 【大模型默认下载在C盘，修改大模型保存地址！】
使用ollama下载大模型
1、打开cmd命令行，将官网中的命令复制到其中运行，例如：
ollama run deepseek-r1:1.5b 这个命令是直接运行的，推出需要使用/bye命令
2、使用ollama list命令查看刚刚下载好的大模型
二、安装、搭建知识库软件
知识库软件有很多，功能大同小异，有细微的差别，根据需求使用，例如 dify、ragflow、openwebui等等
安装Docker-desktop
[*]下载安装docker 桌面版
[*]下载地址：https://www.docker.com/products/docker-desktop/
[*]安装过程一路下一步即可，打开cmd命令行输入docker检测是否安装
[*]修改docker国内镜像
[*]打开docker软件 -> 不用登录 -> 左上角设置 -> Docker Engine
[*]{
"builder": {
"gc": {
"defaultKeepStorage": "20GB",
"enabled": true
}
},
"experimental": false,
"registry-mirrors": [
"https://hub.rat.dev"
]
}
使用git克隆仓库
[*]选择一个目录，不要有中文
[*]执行克隆命令：
git clone https://github.com/langgenius/dify.git
cd dify/docker
[*]配置环境变量
copy .env.example.env
[*]docker compose方式启动
docker compose -f docker-compose.yaml up -d
[*]关闭命令
docker compose stop
三、dify页面
docker运行后，在浏览器中输入localhost/install使用
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]