网站首页 > 精选文章 正文
本文以ubuntu24.04为例,使用ubuntu是因为其第三方显卡的驱动。
安装的先决条件:因ollama的安装是直接使用在线安装脚本进行安装,故首先需要可以访问到github。web界面使用docker容器运行,也确保可以从公共仓库中拉取open-webui的镜像。
以下是 Ollama 和 DeepSeek 的部署方法:
Ollama 部署
- 安装 Ollama:运行命令 curl -fsSL https://ollama.com/install.sh | sh。
因为我是在esxi里面的虚拟机中做的这个文章的演示,且我没有开启显卡直通,所以这里安装完成后会有告警信息,说没有找到GPU,将使用CPU模式运行。
- 启动 Ollama:在终端运行命令 ollama serve 启动 Ollama 服务。启动过程中会创建一个公钥和私钥并监听本地的11434端口。
- 验证安装:运行命令 ollama --version,查看 Ollama 的版本号以确认安装成功。
DeepSeek 部署
通过 Ollama 部署:上面的ollama已经部署完成,下面通过命令运行deepseek模型即可,命令如果是首次运行,会下面对应的模型。所以先根据自己的磁盘空间等情况选择合适的模型版本。
运行 DeepSeek 模型:
根据硬件选择合适的模型版本,例如运行 1.5B 模型,可执行命令 ollama run deepseek-r1:1.5b;因为是虚机的演示,这里我就仅使用了1.1G大小的1.5B模型。
若要运行更大规模的模型,如 70B 模型或者671B 模型,可执行命令 ollama run deepseek-r1:70b或ollama run deepseek-r1:671b。
通过 API 交互:启动 Ollama 服务后,可通过 HTTP 请求与模型交互。例如,向
http://localhost:11434/api/generate 发送 POST 请求,请求体中包含模型名称、是否流式传输以及提示内容。
使用 Open WebUI
拉取 Open WebUI 镜像:
docker pull ghcr.io/open-webui/open-webui:main
运行 Open WebUI 容器:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
确保 Ollama 中的模型处于运行状态。
访问 WebUI: 打开浏览器,输入 http://localhost:3000/,进入 WebUI 界面。
配置 WebUI:
在 WebUI 界面中,选择“Settings → Connections”,禁用 OpenAI API 集成。
在 Ollama API 字段中,输入 Ollama 的本地地址(通常是
http://host.docker.internal:11434)。
点击“Save”保存设置。
猜你喜欢
- 2025-07-03 CentOS7系统如何修改主机名(更改centos主机名)
- 2025-07-03 Ubuntu1804 及以上版本的 Coredump 相关设置
- 2025-07-03 Linux中如何修改ip地址?(linux系统怎么更改ip地址)
- 2025-07-03 Linux系统日常运维九大核心技能(linux运维都干什么)
- 2025-07-03 Linux 日志管理攻略:用 journalctl 揪出服务器安全隐患
- 2025-07-03 RockyLinux9.5下使用ollama搭建本地AI大模型DeepSeek
- 2025-07-03 Linux 下的 PM2 完整指南(linux /media)
- 2025-07-03 Rocky Linux 9常用命令备忘录(不定时更新)
- 2025-07-03 Rocky Linux 9 系统初始化与安全加固脚本
- 2025-07-03 Linux cron任务计划(linux任务计划命令)
- 07-03CentOS7系统如何修改主机名(更改centos主机名)
- 07-03Ubuntu1804 及以上版本的 Coredump 相关设置
- 07-03Linux中如何修改ip地址?(linux系统怎么更改ip地址)
- 07-03Linux系统日常运维九大核心技能(linux运维都干什么)
- 07-03Linux 日志管理攻略:用 journalctl 揪出服务器安全隐患
- 07-03Linux下快速安装ollama和deepseek并使用web界面
- 07-03RockyLinux9.5下使用ollama搭建本地AI大模型DeepSeek
- 07-03Linux 下的 PM2 完整指南(linux /media)
- 最近发表
-
- CentOS7系统如何修改主机名(更改centos主机名)
- Ubuntu1804 及以上版本的 Coredump 相关设置
- Linux中如何修改ip地址?(linux系统怎么更改ip地址)
- Linux系统日常运维九大核心技能(linux运维都干什么)
- Linux 日志管理攻略:用 journalctl 揪出服务器安全隐患
- Linux下快速安装ollama和deepseek并使用web界面
- RockyLinux9.5下使用ollama搭建本地AI大模型DeepSeek
- Linux 下的 PM2 完整指南(linux /media)
- Rocky Linux 9常用命令备忘录(不定时更新)
- Rocky Linux 9 系统初始化与安全加固脚本
- 标签列表
-
- 向日葵无法连接服务器 (32)
- git.exe (33)
- vscode更新 (34)
- dev c (33)
- git ignore命令 (32)
- gitlab提交代码步骤 (37)
- java update (36)
- vue debug (34)
- vue blur (32)
- vscode导入vue项目 (33)
- vue chart (32)
- vue cms (32)
- 大雅数据库 (34)
- 技术迭代 (37)
- 同一局域网 (33)
- github拒绝连接 (33)
- vscode php插件 (32)
- vue注释快捷键 (32)
- linux ssr (33)
- 微端服务器 (35)
- 导航猫 (32)
- 获取当前时间年月日 (33)
- stp软件 (33)
- http下载文件 (33)
- linux bt下载 (33)