Ollama 是一个开源的大模型运行工具(GitHub 项目地址),把模型下载、推理服务和 API 集中在一个命令行工具里。模型既可以在自己电脑上运行,也可以调用 Ollama 云端的现成模型;本地模式下,对话内容不会回传到官方服务器。
当前最新版 v0.40.10(2026 年 10 月 23 日发布),更新内容见下方小节。
核心功能
一行命令运行模型
# 下载并运行 Gemma 4 E2B(约 4.6GB)
ollama run gemma4:e2b
# 运行 Qwen3.8 27B
ollama run qwen3.8
# 结束对话:输入 /bye
配套的常用命令:ollama pull 只下载不启动对话;ollama ps 查看模型加载位置与显存占用;ollama stop 把模型从内存卸载。默认上下文窗口为 4096 tokens,可在会话里用 /set parameter num_ctx 修改,或用环境变量 OLLAMA_CONTEXT_LENGTH 调整默认值。
丰富的模型库
ollama.com/library 收录 Qwen、Gemma、GPT-OSS、GLM、Nemotron、Muse、Mistral、Llama 等主流开源模型,也包含 DeepSeek、Kimi、MiniMax 的云端版本。每个模型按参数规模提供多个标签,并标注能力:tools(工具调用)、thinking(思考模式)、vision(图像输入)、embedding(向量嵌入)、cloud(云端专用)。
桌面应用与智能体接入
- Windows 与 macOS 提供桌面应用,安装后在后台运行,托盘/菜单栏里可以管理与更新。
ollama launch claude、ollama launch codex、ollama launch opencode把本地或云端模型接入 Claude Code、Codex CLI、OpenCode 等编码智能体,对应工具缺失时会自动安装。- macOS 应用内的「Apps」页可连接 Claude Desktop 与 ChatGPT Desktop,让这两个应用改用 Ollama 模型。
API 与开发支持
- 本地服务监听
http://localhost:11434,提供原生 REST API。 - 兼容 OpenAI API(
/v1/chat/completions、/v1/responses)与 Anthropic API(/v1/messages),现有 SDK 少量改动即可切换到本地模型。 - 能力覆盖工具调用、思考档位控制、结构化输出、图像理解、联网搜索与向量嵌入;v0.35.0 起还提供
/v1/systemone决策接口,用 Nimble、Clef 等模型完成分类与打分。
云端模型
模型名加 :cloud 后缀即为云端模型(如 gemma4:cloud):不在本地占磁盘和显存,由 Ollama 服务器运行。免费计划包含 gemma4:cloud,其余云端模型多需付费或积分。官方说明云端请求的内容不存储、不用于训练。只想本地运行时,可在 ~/.ollama/server.json 中设置 disable_ollama_cloud: true,或设环境变量 OLLAMA_NO_CLOUD=1。
最新模型与硬件要求
下表是模型库中近期更新的代表性模型。体积为官方标注的下载大小,也是运行时显存/内存占用的近似值,上下文越长额外开销越大:
| 模型 | 参数规模 | 体积 | 运行命令 |
|---|---|---|---|
| Qwen3.8 | 27B | 18GB | ollama run qwen3.8 |
| Qwen3.6 | 27B | 18GB | ollama run qwen3.6:27b |
| Qwen3.5 | 4B | 3.3GB | ollama run qwen3.5:4b |
| Qwen3.5 | 35B MoE,激活 3B | 22GB | ollama run qwen3.5:35b |
| Gemma 4 | E2B | 4.6GB | ollama run gemma4:e2b |
| Gemma 4 | 12B | 7.7GB | ollama run gemma4:12b |
| GPT-OSS(OpenAI) | 20B | 14GB | ollama run gpt-oss:20b |
| Muse Glimmer(Meta) | 30B | 18GB | ollama run muse-glimmer |
| GLM-4.7-Flash(智谱) | 30B | 19GB | ollama run glm-4.7-flash |
| Qwen3-Coder | 30B MoE,激活 3B | 19GB | ollama run qwen3-coder |
| Nemotron 3.5 Lightning(NVIDIA) | 30B MoE,激活 3B | 19–25GB | ollama run nemotron-3.5-lightning |
| Bonsai 2(Prism ML) | 27B 三值量化 | 8.3GB | ollama run bonsai-2:27b |
| Qwen3-VL | 8B | 6.1GB | ollama run qwen3-vl:8b |
| Ministral 3(Mistral) | 8B | 6.0GB | ollama run ministral-3:8b |
上表只列了常见规模,各模型的完整标签与体积见 ollama.com/library/<模型名>/tags。
GLM-5.3、Kimi K2.6、MiniMax-M3、DeepSeek-V4.1-Flash、Mistral Large 4、Muse Spark Open 等为云端专用模型,本地不占资源,用 :cloud 后缀调用。
GPU 与系统支持
- NVIDIA:计算能力 5.0 及以上(GTX 750 起的大多数显卡,直到 RTX 50 系),驱动 550+(计算能力 5.0–6.2 的老卡需 570+;Windows 下要求 551.61+)。
- AMD:Linux 走 ROCm v7 驱动,支持 RX 6000/7000/9000 系、Ryzen AI 与 Instinct 加速卡;Windows 需要 ROCm v7/HIP7 驱动栈(RX 7000 系起),RX 6000 系在 Windows 默认走 Vulkan。
- Apple:Metal 加速;Apple Silicon 上受支持的架构默认使用 MLX 引擎。
- 其他显卡(Intel 等):默认走 Vulkan,Windows 无需额外配置,Linux 需安装 Vulkan 组件。
- 显存不足时,模型会部分或全部放进内存运行,
ollama ps可查看实际分配(如48%/52% CPU/GPU)。 - 没有 GPU 也能运行,速度取决于内存与处理器:官方对 gemma4:e2b 的建议是 8GB 显存或统一内存;更小的模型如 qwen3.5:0.8b(1.2GB)在普通内存的电脑上即可运行。
基本用法
安装
Windows(本站下载页提供 OllamaSetup.exe,约 1584.7 MB):
- 安装不需管理员权限,默认装在当前用户目录,程序本身约占 4GB 空间,模型另存;
OllamaSetup.exe /DIR="D:\ollama"可改安装位置,环境变量OLLAMA_MODELS可改模型存储位置。 - 系统要求:Windows 10 22H2 及以上(家庭版或专业版)。
- 命令行安装:
irm https://ollama.com/install.ps1 | iex
macOS / Linux:
curl -fsSL https://ollama.com/install.sh | sh
运行第一个模型
ollama run gemma4:e2b
首次运行会先下载模型文件,随后直接进入对话。
调用 API
curl http://localhost:11434/api/chat -d '{
"model": "gemma4:e2b",
"messages": [{"role": "user", "content": "用一句话解释什么是量子计算"}]
}'
Python 官方库:
from ollama import chat
response = chat(
model="qwen3.8",
messages=[{"role": "user", "content": "用一句话解释什么是量子计算"}],
)
print(response.message.content)
OpenAI 兼容接口在 http://localhost:11434/v1/chat/completions,把 base_url 指向本地地址即可复用现有 OpenAI SDK 代码。
接入编码智能体
ollama launch claude # Claude Code,缺失时自动安装
ollama launch codex # Codex CLI
ollama launch opencode # OpenCode
Ollama v0.40.10 更新内容
更新时间 2026 年 10 月 23 日,来源:Ollama v0.40.10 发布说明:
- 新模型 Nemotron 3.5 Bolt E4B: 英伟达基于 Gemma 4 的视觉语言小模型,支持 128K 上下文、图像理解与工具调用,内置 DFlash 推测解码草稿,用
ollama run nemotron-3.5-bolt:e4b即可运行。
常见问题解答
- Q:没有 NVIDIA 显卡能跑吗?
A:能。Ollama 支持纯 CPU 运行,速度取决于内存与处理器;AMD 显卡走 ROCm 或 Vulkan,Apple 芯片走 Metal/MLX,Intel 等其他显卡默认走 Vulkan。 - Q:跑一个模型需要多少显存或内存?
A:模型文件体积即运行占用的近似值,另需为上下文预留一部分。例如 qwen3.5:4b 约 3.3GB;官方对 gemma4:e2b 建议 8GB 显存或统一内存,显存不足时会改用内存,速度会下降。加载后可用ollama ps查看。 - Q:云端模型收费吗?
A:免费计划包含gemma4:cloud,其余云端模型多需付费或积分。本地模型的下载与运行不受账户和付费影响,也可以用OLLAMA_NO_CLOUD=1关闭云功能。 - Q:怎么升级 Ollama?
A:Windows 与 macOS 应用会自动下载更新,在托盘/菜单栏点「Restart to update」应用;Linux 重新执行官方安装脚本即可。
下载指南
为了给您提供最便捷的体验,我们将所有可用下载方式汇集于同一页面。访问下方链接后,您可根据个人网络环境与偏好,自由选择最合适的下载渠道。
页面内可选的下载源包括:
本站高速直链: 享受由 阿里云 CDN、123云盘直链和 Cloudflare R2 带来的高速、稳定下载。
公共云盘镜像: 无需额外操作,便于您转存至个人账户。本站提供 百度网盘、阿里云盘、123云盘、天翼云盘、迅雷云盘、Google Drive 与 OneDrive 分流。
重要信息:
- 版本更新:本站每半小时会自动监控一次版本更新,保证下载页始终为最新版本。
- 文件校验: 请务必使用页面提供的 SHA-256 哈希值进行文件一致性校验。
如有任何下载速度或校验问题,欢迎在评论区留言!