Ollama 是一个用于在本地运行大型语言模型（LLM）的工具，支持多种操作系统。它提供了一个简单的命令行界面和 REST API 接口，便于开发者进行模型训练、推理和部署。
一、Ollama 简介
本笔记将详细说明：
- Ollama 在不同操作系统上的安装方法
- 如何配置局域网访问
- 使用 Modelfile 创建自定义模型
二、Ollama 安装步骤
1. Windows 安装
方法一：通过官方安装程序安装
- 访问 https://ollama.com/download
- 下载
OllamaSetup.exe - 双击运行安装程序，按照提示完成安装
- 安装完成后，Ollama 会自动作为服务运行
⚠️ 注意：目前 Windows 版本仅支持 WSL2 或 Intel/AMD 处理器，不支持 ARM 架构（如 Surface Pro X）
方法二：通过 PowerShell 安装（适用于企业或脚本自动化）
Invoke-WebRequest -Uri "https://ollama.com/download/ollama-windows-amd64.zip" -OutFile "$env:TEMP\ollama.zip"Expand-Archive -Path "$env:TEMP\ollama.zip" -DestinationPath "$env:PROGRAMFILES\Ollama" -Force[Environment]::SetEnvironmentVariable("Path", "$env:Path;$env:PROGRAMFILES\Ollama", [EnvironmentVariableTarget]::Machine)重启终端后即可使用 ollama 命令。
2. macOS 安装
方法一：使用 Homebrew 安装
brew install --cask ollama安装完成后，打开终端即可直接使用 ollama 命令。
方法二：手动下载安装包
- 访问 https://ollama.com/download
- 下载
.pkg安装文件 - 双击安装包并按提示完成安装
3. Linux 安装（以 Ubuntu/Debian 为例）
使用官方安装脚本：
curl -fsSL https://ollama.com/install.sh | sh该脚本会自动添加用户到 ollama 组，并设置权限。
手动安装（可选）
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/local/bin/ollamasudo chmod +x /usr/local/bin/ollama四、Ollama 命令行用法说明
| 操作 | 命令示例 |
|---|---|
| 查看版本 | ollama --version |
| 列出已安装模型 | ollama list |
| 拉取模型 | ollama pull llama3 |
| 运行模型（交互式） | ollama run llama3 |
| 运行模型（非交互） | `echo “Hello” |
| 删除模型 | ollama rm llama3 |
| 查看模型运行速度 & Token 数细节 | ollama run <模型名字> --verbose |
| 查看已下载模型 | ollama list |
| 删除模型 | ollama rm <模型名字> |
| 查看模型详细信息 | ollama show <模型名字> |
| 启动 Ollama 服务器 | ollama serve |
| 创建模型文件 (用于自定义模型) | ollama create <自定义的模型名字> -f Modelfile |
五、下载模型
安装完成后, 访问 https://ollama.com/search 寻找并下载你想要的模型. 例如, 我推荐 Gemma 3, 根据你的电脑配置选择合适的版本.
以我为例, 点击 gemma3:12b, 复制右上角的 ollama run gemma3:12b 命令.
- Mac: 打开终端.
- Windows: 打开 CMD.
ollama run gemma3:12b开始下载模型.
下载完成后, 可以关闭终端或 CMD.
六、安装客户端 (可选)
推荐使用 Cherry Studio (macOS 和 Windows 版本) 作为客户端.
七、配置 API (可选)
下载并安装客户端后, 设置模型服务. 找到 Ollama，填写以下信息:
- API 地址:
http://localhost:11434 - API 密钥: 任意值 (例如：
随便)
点击 “添加模型”:
- 模型 ID:
gemma3:12b - 模型名称:
gemma3:12b - 模型分组:
Gemma
如果你使用的是 Chrome 浏览器，安装插件: Page Assist
八、进阶：局域网服务器 (macOS & Windows)
1. 修改 Ollama 服务地址 (临时)
输入以下命令：
OLLAMA_HOST=0.0.0.0:11434 ollama serve将 Ollama 的服务器地址修改为局域网可访问的地址。
2. 保留模型权重 (临时)
为了避免 5 分钟不使用模型时, Ollama 释放模型权重, 导致下次使用时需要重新加载, 可以使用以下命令:
OLLAMA_HOST=0.0.0.0:11434 OLLAMA_KEEP_ALIVE=-1 ollama serve此命令仅对当前终端会话有效. 如果关闭终端, 局域网其他设备将无法访问.
3. 永久修改服务地址
macOS
- 打开
~/.zshrc文件:nano ~/.zshrc - 在文件末尾添加以下两行：
export OLLAMA_HOST="0.0.0.0:11434"export OLLAMA_KEEP_ALIVE="-1"
- 保存并退出:
- 按
Control + O(Write Out), 然后按Enter确认文件名。 - 按
Control + X(Exit) 退出nano。
- 按
Windows
在系统环境变量中设置：
- 变量名:
OLLAMA_HOST - 变量值:
0.0.0.0:11434
这样局域网其他电脑客户端就可以通过服务器 IP 和端口 (例如: http://服务器IP:11434) 调用 Ollama API.
九、Ollama 常用命令 (重复，但方便查阅)
- 下载/运行模型:
ollama run <模型名字>
- 清除模型上下文:
/clear
- 退出对话/关闭模型:
/bye
- 查看模型运行速度 & Token 数细节:
ollama run <模型名字> --verbose
- 查看已下载模型:
ollama list
- 删除模型:
ollama rm <模型名字>
- 查看模型详细信息:
ollama show <模型名字>
- 启动 Ollama 服务器:
ollama serve
- 创建模型文件 (用于自定义模型):
ollama create <自定义的模型名字> -f Modelfile
十、总结
本文档提供了 Ollama 在 Windows、macOS 和 Linux 上的完整安装流程、局域网访问配置方法以及 Modelfile 的使用教程。通过这些操作，你可以快速搭建一个本地大模型服务，并实现远程调用与定制化开发。
📌 建议保存此文档作为参考手册，便于后续开发与部署使用。