Ollama本地部署大模型
本地部署的几种方式：Ollama、GPT4ALL等。Ollama
a. https://ollama.com/download
b. 一个开源的轻量级LLM服务框架，专注于本地推理能力的实现
c. 模型支持范围：受限于Ollama官方支持的模型https://ollama.com/search
d. 硬件依赖性：性能受限于本地计算资源
e. 安装：
i. 链接下载，安装后。
ii. 常用指令：
(1) 查看本地已下载模型：
① ollama list
(2) 下载模型：
① ollama run llama3.2
② ollama run deepseek-r1:7b
1) mac pro 16G可以带起来
(3) 查看环境：
① ollama serve
f. 安装Open-WebUI体验网页交互
i. 安装Open-webui.两种方式:
(1) python3.11以上
① pip install open-webui
② open-webui serve
③ http://localhost:8080
(2) docker:
① docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
② http://localhost:3000/
g. 使用Ollama+开发框架本地运行大模型：
i. 后面用enio开发框架，访问本地部署链接，进行测试。GPT4ALL
a. https://www.nomic.ai/gpt4all
b. Nomic开发的一个综合性框架，它既包含了模型系列，也提供了完整的本地训练和部署生态系统。vLLM
a. https://github.com/vllm-project/vllm
b. 最新文档：https://docs.vllm.ai/en/stable/
c. 面向生产环境的高性能推理框架，支持多GPU分布式推理，适合企业级API服务。
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]