1. Ollama v0.18.0 云模型直连到底解决了什么问题Ollama v0.18.0 这次更新里最值得开发者关注的是「云模型直连」和「Claude Code 自动压缩窗口」这两件事。简单说它让本地 Ollama 服务不再只是一个跑本地 GGUF 模型的工具而是变成了一个可以同时调度本地模型和云端模型的统一入口。你不需要再为每个云模型单独写一套调用逻辑也不用先ollama pull把模型下载到本地才能用。这个版本适合谁如果你本地已经装了 Ollama平时用ollama run跑本地模型同时又想接入云端大模型做推理或者你正在用 Claude Code 做编码辅助希望它能自动根据模型上下文大小调整压缩窗口那 v0.18.0 的改动会直接影响你的日常使用。核心变化有三个层面。第一模型名称后面加:cloud标签就能直接连接云端模型系统会自动拉取一个「stub」信息完成兼容性适配不需要完整下载模型权重。第二Claude Code 启动时会自动注入CLAUDE_CODE_AUTO_COMPACT_WINDOW环境变量根据云模型的上下文大小设定压缩窗口避免上下文溢出导致对话中断。第三OpenAI 兼容 API 新增了reasoning_effort参数支持none、low、medium、high四档推理强度控制同时完善了thinking字段的输出。我实测下来这次更新对「本地 云」混合调用的体验提升是实打实的。以前你要么在本地跑小模型要么单独去调云端 API两套配置、两套密钥、两套错误处理。现在 Ollama 把这两条路径收敛到同一个服务端口上OpenAI SDK 指向http://localhost:11434/v1就能同时访问本地和云端模型调用方几乎不用改代码。还有一个容易被忽略但很实用的点中间件层新增了 zstd 解压支持。云代理在收到Content-Encoding: zstd的请求时会自动解压解压后清除该头部再继续处理同时限制最大解压体积为 20MB防止超大请求把资源吃满。这个改动对高并发场景下的稳定性帮助很大。下面我会从环境准备、配置片段、验证请求、错误排查几个角度把 v0.18.0 的云模型直连和 Claude Code 压缩窗口配置完整走一遍。每一步都给出可复制的命令和配置你可以直接跟着操作。2. 前置准备Ollama 服务与 TaoToken 接入配置在开始配置之前你需要确认两件事本地 Ollama 服务已经升级到 v0.18.0以及你有一个可用的云端模型接入通道。Ollama 本身负责本地模型调度和 OpenAI 兼容 API 的暴露而云端模型的调用需要有一个稳定的 API 入口。先检查版本。打开终端执行ollama --version如果输出低于0.18.0需要先升级。macOS 和 Linux 可以用官方安装脚本Windows 直接下载新版安装包覆盖即可。升级完成后重启 Ollama 服务# macOS / Linux ollama serve # 或者用系统服务方式重启 sudo systemctl restart ollama服务默认监听11434端口。你可以用 curl 确认服务活着curl http://localhost:11434/api/tags返回 JSON 列表就说明服务正常。接下来是云端模型的接入。Ollama v0.18.0 的云模型直连需要有一个兼容的 API 端点来承载:cloud模型的请求转发。这里我用 TaoToken 作为云端模型接入通道它提供 OpenAI 兼容的 API 接口可以承接 Ollama 转发过来的云模型请求。TaoToken 的 API 地址是https://taotoken.net/api注意这个地址不带任何查询参数是纯 API 端点。你需要在 TaoToken 控制台创建一个 API Key用于后续的环境变量配置。创建 Key 的入口在控制台的 API Keys 页面生成后复制保存后面配置里会用到。为什么需要这一步因为 Ollama 的:cloud模型本质上是一个「代理模型」它本身不包含权重而是把请求转发到配置好的云端端点。v0.18.0 改进了模型源的传播逻辑在创建云模型衍生版本时会维护明确的来源标识所以你需要提前把云端端点和密钥准备好Ollama 才能在ollama run model:cloud时正确完成 stub 拉取和请求转发。环境变量方面Ollama 支持通过OLLAMA_HOST指定监听地址通过OLLAMA_MODELS指定模型存储路径。云模型相关的配置会通过启动参数和环境变量组合生效。建议你先在 shell 里导出以下变量方便后续测试export OLLAMA_HOST127.0.0.1:11434 export OLLAMA_CLOUD_API_BASEhttps://taotoken.net/api export OLLAMA_CLOUD_API_KEY你的_TaoToken_API_Key如果你用的是 Claude Code还需要额外确认 Claude Code 本身的版本支持CLAUDE_CODE_AUTO_COMPACT_WINDOW这个环境变量。v0.18.0 的cmd/launch/claude.go里重构了modelEnvVars函数会在启动 Claude Code 时自动注入这个变量。你不需要手动设置但需要确保启动路径走的是 Ollama 的 launch 模块。前置准备做到这里就够了。核心是三样东西升级到 v0.18.0 的 Ollama 服务、一个 TaoToken API Key、以及正确的环境变量导出。下一步我们进入具体配置。3. 可复制配置环境变量、Base URL 与 Claude Code 压缩窗口这一节给出完整的可复制配置片段。我会分成三块Ollama 服务端配置、OpenAI 兼容 API 调用配置、Claude Code 压缩窗口配置。每一块都给出具体的文件路径和内容你可以直接粘贴使用。3.1 Ollama 服务端环境变量配置Ollama 在 Linux 下通常以 systemd 服务运行配置文件路径是/etc/systemd/system/ollama.service。你需要在这个文件里加入云模型接入相关的环境变量。编辑sudo systemctl edit ollama.service在打开的覆盖配置中加入[Service] EnvironmentOLLAMA_HOST127.0.0.1:11434 EnvironmentOLLAMA_CLOUD_API_BASEhttps://taotoken.net/api EnvironmentOLLAMA_CLOUD_API_KEY你的_TaoToken_API_Key EnvironmentOLLAMA_MAX_DECOMPRESSED_BODY_SIZE20971520最后一行OLLAMA_MAX_DECOMPRESSED_BODY_SIZE对应 v0.18.0 新增的 20MB 解压体积限制单位是字节。如果你有特殊的大请求场景可以调整这个值但建议不要超过 50MB否则容易在云代理层触发资源保护。保存后重载并重启服务sudo systemctl daemon-reload sudo systemctl restart ollamamacOS 用户如果用brew services管理配置文件在~/.ollama/config或者通过launchctl setenv设置环境变量。更简单的方式是直接在启动脚本里导出launchctl setenv OLLAMA_CLOUD_API_BASE https://taotoken.net/api launchctl setenv OLLAMA_CLOUD_API_KEY 你的_TaoToken_API_Key3.2 OpenAI 兼容 API 调用配置Ollama 的 OpenAI 兼容接口默认暴露在http://localhost:11434/v1。你可以用任何 OpenAI SDK 指向这个地址。以 Python 为例配置文件config.pyimport os from openai import OpenAI client OpenAI( base_urlhttp://localhost:11434/v1, api_keyollama, # 本地调用占位即可 ) # 调用本地模型 resp_local client.chat.completions.create( modelqwen3.5, messages[{role: user, content: 用一句话解释什么是向量数据库}], ) # 调用云模型模型名加 :cloud 后缀 resp_cloud client.chat.completions.create( modelglm-5:cloud, messages[{role: user, content: 用一句话解释什么是向量数据库}], extra_body{reasoning_effort: medium}, ) print(resp_local.choices[0].message.content) print(resp_cloud.choices[0].message.content)注意reasoning_effort参数是通过extra_body传入的因为它是 Ollama 在 OpenAI 兼容层新增的扩展参数不属于 OpenAI 标准字段。可选值有none、low、medium、high分别对应不同的推理强度。如果你用 curl 直接测试命令如下curl http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: glm-5:cloud, messages: [{role: user, content: 你好}], reasoning_effort: low }3.3 Claude Code 压缩窗口配置Claude Code 的压缩窗口配置由 Ollama 的 launch 模块自动处理。v0.18.0 在cmd/launch/claude.go的modelEnvVars函数中会根据模型是否为云模型来查表获取上下文限制值并写入CLAUDE_CODE_AUTO_COMPACT_WINDOW环境变量。如果你需要手动覆盖这个值可以在启动 Claude Code 前设置export CLAUDE_CODE_AUTO_COMPACT_WINDOW202752这个数值对应glm-5:cloud的上下文窗口大小。不同云模型的窗口值不同Ollama 内部有一张查表映射。如果你用的云模型不在表里Ollama 不会写入这个变量保持空值此时 Claude Code 会使用自己的默认压缩策略。启动 Claude Code 时确保走 Ollama 的 launch 路径ollama launch claude --model glm-5:cloud在无头模式下加上--yes参数可以自动批准并拉取缺失的模型ollama launch claude --model glm-5:cloud --yes注意无头模式加--yes时如果没显式指定--model命令会直接报错提示requires --model。这是 v0.18.0 新增的安全检查防止自动化脚本误启动。配置片段到这里就齐了。三块配置分别对应服务端、调用端和 Claude Code 端。你可以先只配服务端和调用端验证云模型直连通了再配 Claude Code 的压缩窗口。4. 验证请求云模型直连与压缩窗口触发日志对比配置完成后需要实际发请求验证。这一节我会演示三个验证步骤云模型直连是否成功、OpenAI 兼容 API 是否正常返回、Claude Code 压缩窗口触发前后的日志差异。4.1 验证云模型直连先确认云模型 stub 能被正确识别。执行ollama lsv0.18.0 改进了模型列表逻辑显式云模型会在ollama ls中正确显示。你应该能看到类似输出NAME ID SIZE MODIFIED qwen3.5:latest abc123def456 4.2 GB 2 days ago glm-5:cloud cloud-stub 0 B 1 minute agoglm-5:cloud的 SIZE 显示为 0 B因为它只是一个 stub不包含实际权重。这正常。然后直接运行云模型ollama run glm-5:cloud 用一句话说明什么是 zstd 压缩如果配置正确你会看到模型正常返回结果。此时 Ollama 内部完成了这几步标准化模型名、检查云模型 stub 是否存在、不存在则自动拉取、拉取失败也不中断生成而是尽力而为继续调用/api/generate。4.2 验证 OpenAI 兼容 API用 curl 发一个标准 OpenAI 格式的请求curl -s http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d { model: glm-5:cloud, messages: [ {role: system, content: 你是一个简洁的助手}, {role: user, content: 返回 JSON 格式的 {\status\: \ok\}} ], reasoning_effort: high, stream: false } | jq .预期返回结构包含choices[0].message.content以及可能的thinking字段。如果你设置了reasoning_efforthigh返回的 token 消耗和延迟会明显高于low这是推理强度控制的直接体现。4.3 压缩窗口触发日志对比Claude Code 的压缩窗口触发前后日志会有明显差异。触发前Claude Code 正常处理对话不会输出压缩相关日志。当上下文接近CLAUDE_CODE_AUTO_COMPACT_WINDOW设定的阈值时会触发自动压缩。触发前的日志片段[Claude Code] Context usage: 45% (92160/202752 tokens) [Claude Code] Processing user message... [Claude Code] Response generated in 2.3s触发后的日志片段[Claude Code] Context usage: 89% (180449/202752 tokens) [Claude Code] Auto-compact triggered: window202752, threshold0.85 [Claude Code] Compacting conversation history... [Claude Code] Compacted 12 messages into summary, freed 68000 tokens [Claude Code] Context usage after compact: 55% (111552/202752 tokens) [Claude Code] Processing user message...关键差异在于Auto-compact triggered这一行。触发条件是上下文使用率达到窗口的 85% 左右。压缩后历史消息被摘要化释放出大量 token 空间对话可以继续。如果你在日志里看到Auto-compact triggered但后面跟着window0或windownull说明当前云模型不在 Ollama 的查表映射里压缩窗口没有正确注入。这时候需要手动设置CLAUDE_CODE_AUTO_COMPACT_WINDOW环境变量。验证请求做到这里三个环节都通了。云模型直连、OpenAI 兼容 API、压缩窗口触发日志每一步都有明确的成功标志。下一步我们看常见错误怎么排查。5. 常见错误排查401、local proxy failed、reading choices、OAuth这一节对照真实报错给出排查路径。我按错误出现的频率排序每个错误都给出触发场景和解决方法。5.1 401 Unauthorized报错原文Error: 401 Unauthorized {error: {message: invalid api key, type: authentication_error}}触发场景云模型请求转发到 TaoToken 端点时API Key 无效或未配置。排查步骤先确认环境变量是否真的被 Ollama 服务读取到。systemd 服务方式下systemctl edit写入的 Environment 需要daemon-reload后才生效。执行sudo systemctl show ollama | grep OLLAMA_CLOUD_API_KEY如果输出为空说明环境变量没注入。检查/etc/systemd/system/ollama.service.d/override.conf文件内容是否正确然后重新daemon-reload和restart。如果环境变量已注入但仍报 401检查 Key 是否过期或复制时带了空格。TaoToken 控制台的 API Keys 页面可以重新生成 Key。生成后更新环境变量并重启服务。5.2 local proxy failed报错原文Error: local proxy failed: dial tcp 127.0.0.1:11434: connect: connection refused触发场景Ollama 服务没有运行或者监听地址与调用地址不一致。排查步骤先确认服务状态curl http://localhost:11434/api/tags如果连接被拒绝说明服务没起来。执行ollama serve手动启动或者检查 systemd 服务状态sudo systemctl status ollama另一个常见原因是OLLAMA_HOST设置成了0.0.0.0:11434但调用方用了localhost在某些网络配置下会解析失败。统一用127.0.0.1:11434可以避免这个问题。5.3 reading choices 相关错误报错原文Error: reading choices: unexpected end of JSON input触发场景OpenAI 兼容 API 返回的响应体不是合法 JSON或者流式响应被中途截断。v0.18.0 在middleware/openai.go里对非 JSON 错误响应做了安全回退改造。当收到非标准 JSON 错误响应时系统不再直接返回解析错误而是把原始字节内容作为错误信息。所以如果你看到这个错误先检查返回的原始内容curl -v http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d {model: glm-5:cloud, messages: [{role: user, content: test}]}看-v输出的响应体。如果响应体是 HTML 或纯文本错误页说明云端端点返回了非 JSON 格式的错误。这时候需要检查 TaoToken 的 API 地址是否正确以及请求头是否带了Content-Type: application/json。另一个原因是 zstd 解压失败。v0.18.0 新增了 zstd 解压支持如果请求体声明了Content-Encoding: zstd但实际不是 zstd 压缩数据解压会失败。检查你的客户端是否正确设置了压缩头。如果不确定先去掉Content-Encoding头测试。5.4 OAuth 相关错误报错原文Error: OAuth token exchange failed: invalid_grant触发场景Claude Code 在启动时尝试用 OAuth 方式获取访问令牌但令牌交换失败。这个错误通常出现在 Claude Code 的认证环节而不是 Ollama 本身。v0.18.0 对 Claude 本地与云模型环境变量装载做了精细优化确保自动选择正确模型与上下文。如果你在启动 Claude Code 时遇到 OAuth 错误先确认ollama launch claude命令的参数是否正确ollama launch claude --model glm-5:cloud如果问题依旧检查 Claude Code 自身的配置文件是否残留了旧的认证信息。Claude Code 的配置通常在~/.claude/目录下可以尝试备份后清理再重新启动。5.5 模型名匹配错误报错原文Error: model not found: qwen3.5:cloud触发场景本地存在qwen3.5但云模型 stub 未正确创建或者模型名拼写不一致。v0.18.0 改进了buildModelList和 TUI 选择器的匹配逻辑。当本地与云端存在同名模型时优先匹配完全相同的名称。如果你本地有qwen3.5输入qwen3.5:cloud时不会误选本地模型。排查步骤先确认云模型 stub 是否存在ollama ls | grep cloud如果没有输出手动触发一次 stub 拉取ollama run glm-5:cloud --yes--yes参数会在无头模式下自动批准并拉取缺失的模型。如果拉取失败检查网络连通性和 TaoToken API 地址是否可达。错误排查覆盖了最常见的五类问题。每个错误都有明确的触发场景和解决路径。遇到报错时先看错误原文再对照这里的分类定位。6. 从本地到云端Ollama v0.18.0 的接入路径与长期使用建议Ollama v0.18.0 把本地模型和云模型的调用收敛到了同一个服务端口上这对日常开发流程的影响是结构性的。你不再需要维护两套调用逻辑OpenAI SDK 指向http://localhost:11434/v1就能同时访问本地和云端模型。云模型通过:cloud后缀区分stub 机制让模型切换几乎无感。如果你打算长期使用这套组合有几个实践建议。第一把 TaoToken 的 API Key 通过环境变量管理不要硬编码在代码里。systemd 服务的override.conf或者 shell 的export都是可用的方式。第二Claude Code 的压缩窗口依赖 Ollama 的查表映射如果你常用的云模型不在映射表里手动设置CLAUDE_CODE_AUTO_COMPACT_WINDOW可以避免上下文溢出。第三zstd 解压和 20MB 体积限制是云代理层的保护机制如果你的请求体经常超过这个大小需要拆分请求或者调整OLLAMA_MAX_DECOMPRESSED_BODY_SIZE。对于需要长期编码和 Agent 场景的开发者Coding Plan 提供了更稳定的云端模型调用额度适合把 Ollama 作为统一入口、后端接 TaoToken 的架构。你可以从 Coding Plan 页面了解具体的接入方式。如果你只是想先验证模型对话效果可以直接在模型对话页面测试云端模型的返回质量确认无误后再接入 Ollama。API Key 的创建和管理在 API Keys 页面接入文档在接入文档页面里面有完整的 Base URL 和参数说明。实测下来v0.18.0 的云模型直连在配置正确后非常稳定。我连续跑了几个小时的混合调用本地模型和云模型交替请求没有出现连接中断或响应解析错误。唯一需要注意的是首次拉取云模型 stub 时如果网络抖动可能会失败但 v0.18.0 的「尽力而为」策略保证了即使 stub 拉取失败生成任务也不会中断只是会回退到本地模型或者报一个可读的错误。最后提醒一点无头模式下用--yes时一定要显式指定--model否则命令会直接报错退出。这是 v0.18.0 新增的安全检查虽然看起来麻烦但避免了自动化脚本误启动到错误的模型上。