企业项目管理、ORK、研发管理与敏捷开发工具平台

网站首页 > 精选文章 正文

Ollama 安装 QWen3 及配置外网访问指南

wudianyun 2025-07-07 23:43:37 精选文章 2 ℃

一、Ollama 安装 QWen3

安装步骤

1.首先尝试运行 QWen3 模型:

ollama run qwen3

2.如果遇到版本不兼容错误(Error 412),表示需要升级 Ollama:

curl -fsSL https://ollama.com/install.sh | sh

3.验证版本:

ollama -v

确保为最新版本 0.6.6。

常见问题解决

问题:反复出现版本不兼容警告

解决方案

1.完全卸载旧版本:

# 停止 Ollama 服务
pkill -f ollama

# 删除主程序
sudo rm -f /usr/local/bin/ollama

# 清除数据和模型(注意这会删除所有已下载模型)
rm -rf ~/.ollama

2.重新安装最新版:

curl -fsSL https://ollama.com/install.sh | sh

3.确认版本:

ollama -v

二、配置外网访问

使用 ngrok 暴露服务

1.安装 ngrok:

curl -sSL https://ngrok-agent.s3.amazonaws.com/ngrok.asc | \
sudo tee /etc/apt/trusted.gpg.d/ngrok.asc >/dev/null && \
echo "deb https://ngrok-agent.s3.amazonaws.com buster main" | \
sudo tee /etc/apt/sources.list.d/ngrok.list && \
sudo apt update && \
sudo apt install ngrok

2.配置认证令牌(从 ngrok 官网获取):

ngrok config add-authtoken <你的TOKEN>

3.启动端口转发:

ngrok http 11434 --url https://xxxx.ngrok-free.app

正常会出现以下信息:

验证外网访问

使用获得的 ngrok URL(如
https://xxxx.ngrok-free.app
)测试 API:

curl https://xxxx.ngrok-free.app/api/generate -d '{
  "model": "qwen3",
  "prompt": "你好,你是谁?",
  "stream": false
}'

注意事项

1.安全警告:直接暴露 Ollama 到公网存在风险,建议:

  • 添加身份验证
  • 限制访问IP
  • 仅在内网使用或通过VPN访问

2.性能考虑:通过 ngrok 的免费隧道有带宽限制,对于大模型响应可能较慢

3.备选方案:可以考虑使用 Cloudflare Tunnel 或其他内网穿透工具替代 ngrok

4.服务管理:对于生产环境,建议配置 ngrok 为系统服务:

sudo systemctl enable ngrok
sudo systemctl start ngrok

如需更长期稳定的域名,建议升级 ngrok 付费计划或使用自有域名配置。

Tags:

最近发表
标签列表