1197 字
6 分钟
Ollama安装与部署指南
2025-05-12

Ollama 是一个用于在本地运行大型语言模型(LLM)的工具,支持多种操作系统。它提供了一个简单的命令行界面和 REST API 接口,便于开发者进行模型训练、推理和部署。

一、Ollama 简介#

本笔记将详细说明:

  1. Ollama 在不同操作系统上的安装方法
  2. 如何配置局域网访问
  3. 使用 Modelfile 创建自定义模型

二、Ollama 安装步骤#

1. Windows 安装#

方法一:通过官方安装程序安装

  1. 访问 https://ollama.com/download
  2. 下载 OllamaSetup.exe
  3. 双击运行安装程序,按照提示完成安装
  4. 安装完成后,Ollama 会自动作为服务运行

⚠️ 注意:目前 Windows 版本仅支持 WSL2 或 Intel/AMD 处理器,不支持 ARM 架构(如 Surface Pro X)

方法二:通过 PowerShell 安装(适用于企业或脚本自动化)

Terminal window
Invoke-WebRequest -Uri "https://ollama.com/download/ollama-windows-amd64.zip" -OutFile "$env:TEMP\ollama.zip"
Expand-Archive -Path "$env:TEMP\ollama.zip" -DestinationPath "$env:PROGRAMFILES\Ollama" -Force
[Environment]::SetEnvironmentVariable("Path", "$env:Path;$env:PROGRAMFILES\Ollama", [EnvironmentVariableTarget]::Machine)

重启终端后即可使用 ollama 命令。

2. macOS 安装#

方法一:使用 Homebrew 安装

Terminal window
brew install --cask ollama

安装完成后,打开终端即可直接使用 ollama 命令。

方法二:手动下载安装包

  1. 访问 https://ollama.com/download
  2. 下载 .pkg 安装文件
  3. 双击安装包并按提示完成安装

3. Linux 安装(以 Ubuntu/Debian 为例)#

使用官方安装脚本:

Terminal window
curl -fsSL https://ollama.com/install.sh | sh

该脚本会自动添加用户到 ollama 组,并设置权限。

手动安装(可选)

Terminal window
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollama
sudo chmod +x /usr/local/bin/ollama

四、Ollama 命令行用法说明#

操作命令示例
查看版本ollama --version
列出已安装模型ollama list
拉取模型ollama pull llama3
运行模型(交互式)ollama run llama3
运行模型(非交互)`echo “Hello”
删除模型ollama rm llama3
查看模型运行速度 & Token 数细节ollama run <模型名字> --verbose
查看已下载模型ollama list
删除模型ollama rm <模型名字>
查看模型详细信息ollama show <模型名字>
启动 Ollama 服务器ollama serve
创建模型文件 (用于自定义模型)ollama create <自定义的模型名字> -f Modelfile

五、下载模型#

安装完成后, 访问 https://ollama.com/search 寻找并下载你想要的模型. 例如, 我推荐 Gemma 3, 根据你的电脑配置选择合适的版本.

以我为例, 点击 gemma3:12b, 复制右上角的 ollama run gemma3:12b 命令.

  • Mac: 打开终端.
  • Windows: 打开 CMD.
ollama run gemma3:12b

开始下载模型.

下载完成后, 可以关闭终端或 CMD.

六、安装客户端 (可选)#

推荐使用 Cherry Studio (macOS 和 Windows 版本) 作为客户端.

七、配置 API (可选)#

下载并安装客户端后, 设置模型服务. 找到 Ollama,填写以下信息:

  • API 地址: http://localhost:11434
  • API 密钥: 任意值 (例如:随便)

点击 “添加模型”:

  • 模型 ID: gemma3:12b
  • 模型名称: gemma3:12b
  • 模型分组: Gemma

如果你使用的是 Chrome 浏览器,安装插件: Page Assist

八、进阶:局域网服务器 (macOS & Windows)#

1. 修改 Ollama 服务地址 (临时)#

输入以下命令:

OLLAMA_HOST=0.0.0.0:11434 ollama serve

将 Ollama 的服务器地址修改为局域网可访问的地址。

2. 保留模型权重 (临时)#

为了避免 5 分钟不使用模型时, Ollama 释放模型权重, 导致下次使用时需要重新加载, 可以使用以下命令:

OLLAMA_HOST=0.0.0.0:11434 OLLAMA_KEEP_ALIVE=-1 ollama serve

此命令仅对当前终端会话有效. 如果关闭终端, 局域网其他设备将无法访问.

3. 永久修改服务地址#

macOS#

  1. 打开 ~/.zshrc 文件:
    nano ~/.zshrc
  2. 在文件末尾添加以下两行:
    export OLLAMA_HOST="0.0.0.0:11434"
    export OLLAMA_KEEP_ALIVE="-1"
  3. 保存并退出:
    • Control + O (Write Out), 然后按 Enter 确认文件名。
    • Control + X (Exit) 退出 nano

Windows#

在系统环境变量中设置:

  • 变量名: OLLAMA_HOST
  • 变量值: 0.0.0.0:11434

这样局域网其他电脑客户端就可以通过服务器 IP 和端口 (例如: http://服务器IP:11434) 调用 Ollama API.

九、Ollama 常用命令 (重复,但方便查阅)#

  1. 下载/运行模型:
    ollama run <模型名字>
  2. 清除模型上下文:
    /clear
  3. 退出对话/关闭模型:
    /bye
  4. 查看模型运行速度 & Token 数细节:
    ollama run <模型名字> --verbose
  5. 查看已下载模型:
    ollama list
  6. 删除模型:
    ollama rm <模型名字>
  7. 查看模型详细信息:
    ollama show <模型名字>
  8. 启动 Ollama 服务器:
    ollama serve
  9. 创建模型文件 (用于自定义模型):
    ollama create <自定义的模型名字> -f Modelfile

十、总结#

本文档提供了 Ollama 在 Windows、macOS 和 Linux 上的完整安装流程、局域网访问配置方法以及 Modelfile 的使用教程。通过这些操作,你可以快速搭建一个本地大模型服务,并实现远程调用与定制化开发。

📌 建议保存此文档作为参考手册,便于后续开发与部署使用。

Ollama安装与部署指南
https://blog.wlens.top/posts/ollama安装与部署指南/
作者
Lao Wang
发布于
2025-05-12
许可协议
CC BY-NC-SA 4.0