尧图网页设计 
96760 词元 8 毫秒恢复:MTPLX 会话缓存与 SSD 持久化机制详解【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX 是苹果芯片上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 与 Ternary Bonsai 2 27B 的极速本地推理引擎,其会话缓存(Session Bank)能把一段 96,760 词元的长对话在 8 毫秒内完整恢复,配合默认开启的 SSD 持久化层,让重启后的多轮聊天像从未中断一样继续解码。本文将用尽量少的代码,带你读懂这套两级会话缓存的设计、实测数字与日常配置方法。为什么多轮对话的快慢取决于会话缓存大模型推理分两步:Prefill(预填充)一次性读完整个提示词,Decode(解码)逐词元生成回答。对话每多一轮,提示词就多几倍,若每次都从零预填充,首词元等待时间会线性恶化。MTPLX 的解法是:每轮结束后,把这段对话的KV 状态快照存入缓存。下一轮请求到达时,服务端做前缀匹配——只要新提示词与已缓存的历史吻合,就直接恢复(restore)状态,跳过几乎全部预填充。官方在 README.md 中写道:恢复后的轮次解码起来就像从未暂停过。两级架构:RAM 热银行 SSD 冷层整个机制由两层组成,源码位于 mtplx/session_bank.py 与 mtplx/cache_bank/ 目录:层级存储位置角色典型恢复速度RAM 热银行(Session Bank)内存对话进行中,轮与轮之间直接复用约 6 ms 恢复 92,521 词元SSD 冷层(持久化)~/.mtplx/session-bank/跨重启、跨进程保留会话43 ms 从磁盘恢复 1,552 词元,首词元 0.58 s(冷启动需 2.40 s)RAM 热银行的关键参数这些环境变量在 docs/server.md 中有完整说明:MTPLX_SESSION_BANK_MAX_BYTES:热缓存总预算,auto为模型权重之外的内存一半(1–48 GiB);MTPLX_SESSION_BANK_PER_SESSION_BYTES:单个会话预算,64 GB Mac 上跑 27B 为 13.2 GiB,128 GB 上为 32 GiB;MTPLX_SESSION_BANK_IDLE_TTL_S:空闲清理默认 1 小时,设为0可让条目驻留到内存不足为止;MTPLX_SESSION_BANK_MAX_ENTRIES:默认 24 个热条目,96 GB 及以上机器为 48。一个容易误解的点:缓存没有 5 分钟或 10 分钟的过期定时器,10 分钟窗口只决定超预算时谁先被淘汰。若会话超出单会话预算,系统会保留对活 KV的引用(lease),下一轮依然免预填充,代价是占用真实内存,/health接口会如实上报。8 毫秒恢复 96,760 词元:实测数据来自哪里这组数字出自 docs/releases/v2.11.3.md 中 M5 Max 上的真机验收(风扇拉满、交替开机测量):在应用内连续改写同一个 Flappy Bird 游戏:第二轮从会话银行 4 ms 恢复 54,530 词元;第三轮 8 ms 恢复 96,760 词元,5.8 秒内答完。同一次验收里的其他对照,能直观感受恢复相比冷重算的差距:场景冷路径恢复路径142k 词元会话(受限内存计划下)325–390 s 全量预填充命中热银行直接继续200,073 词元 OpenCode 提示冷启动预填充 243 s热跟随轮恢复 200,068 词元,首词元 0.89 s,50.6 tok/s带工具调用的 19k 词元对话每轮 15 s 到首词元修复缓存身份后 0.57 s 到首词元2.11.3 还专门修复了带工具的对话每轮都从头部预填充的三个缺陷(工具声明键序不一致、tool_choice: none轮次丢掉声明、服务端收尾指令混入历史),这是恢复率能从 74% 提升到 100% 的关键。SSD 持久化层:内容寻址的会话银行--ssd-session-cache默认为on,已提交的会话会写入~/.mtplx/session-bank/,结构是一个内容寻址存储:entries/——每个快照一份payload.json,声明它由哪些 blob 组成;blobs/——实际数据文件,多个快照共享的 blob 只存一份;manifest.sqlite——恢复时可用的条目索引。核心读写逻辑在 mtplx/cache_bank/cold_tier.py(约 2,900 行),序列化编解码在 mtplx/cache_bank/codec.py。常用配置速查配置默认值含义--ssd-session-cache {on,write-only,off}on是否写入/恢复 SSD 会话--ssd-session-cache-max-size100 GB(64 GB Mac 32 GB、32 GB 机 24 GB、16 GB 机 16 GB)整个目录的磁盘上限,实际取min(上限, 空闲磁盘/4),低于 10 GiB 空闲停止写入MTPLX_SSD_WRITE_BUDGET_PER_HOUR128 G每小时写入预算,保护 SSD 寿命MTPLX_SSD_WRITER_BACKLOG_BYTES4 G写入队列在内存中的缓冲上限,超大单条目直接流式落盘2.11.3 的两个改进值得留意:淘汰不再卡请求——清理空位时不再长持锁重读全部残留载荷,而是短锁删除 分步回收,受影响的回复速度提升 8%;深会话也能落盘——单会话上限改为跟随内存计划(64 GB Mac 上 27B 的 13.2 GiB 快照可以入盘),小内存机器重启后不再必然失忆。孤儿文件自愈:缓存仓库会自己打扫崩溃或中断可能留下清单已不认识的孤儿文件。实测有人三周后累积了 394,155 个孤儿文件、44.1 GB。现在的策略(mtplx/cache_bank/reconcile.py)是:每次打开缓存时后台对账(不阻塞启动和首个请求),删除无主文件,并向守护进程日志写一条mtplx_ssd_session_cache_reconcile记录;写入发现超上限时先回收垃圾,再按 LRU 淘汰活条目;手动检查随时可用,无需模型与 MLX:mtplx gc # 报告:活条目、磁盘占用、孤儿文件 mtplx gc --apply # 删除孤儿(daemon 运行时拒绝,--force 可覆盖)如何验证你的会话缓存正在工作打开http://127.0.0.1:8000/health,重点看两个字段组:session_bank:idle_ttl_s、字节预算、lease_entries/lease_nbytes,以及缓存未命中时的last_miss_reason(判断是过期还是真未命中);ssd_session_cache:entries、managed_disk_bytes、orphan_disk_bytes、orphan_cleanup_runs。应用界面里,仪表盘的Cached卡片也会直接显示本轮命中缓存的词元数(见文首截图中的 Context / Cached 区域)。常见问题速答如何完全关闭 SSD 持久化?启动参数加--ssd-session-cache off;只需写不读用write-only。恢复会改变模型答案吗?官方用固定种子做了热恢复 vs 冷重算对照:两者只在模型前两个候选概率完全打平的掷硬币位置出现一个词元差异,属于采样本身的边界,不是状态损坏。48 GB 机器跑 27B 超过 95k 词元怎么办?内存计划会拒绝超大快照入热银行(未命中原因现为oversized_snapshot_skipped而非含糊的盘未命中),2.11.4 将提供只写 SSD的溢出路径。想继续深入,建议按顺序阅读:docs/server.md 的 Warm session cache 与 SSD session cache 两节,以及 docs/releases/v2.11.3.md 的 Session cache 章节——所有实测数字均可在那里溯源。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 96760 词元 8 毫秒恢复:MTPLX 会话缓存与 SSD 持久化机制详解
96760 词元 8 毫秒恢复:MTPLX 会话缓存与 SSD 持久化机制详解【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX 是苹果芯片上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 与 Ternary Bonsai 2 27B 的极速本地推理引擎,其会话缓存(Session Bank)能把一段 96,760 词元的长对话在 8 毫秒内完整恢复,配合默认开启的 SSD 持久化层,让重启后的多轮聊天像从未中断一样继续解码。本文将用尽量少的代码,带你读懂这套两级会话缓存的设计、实测数字与日常配置方法。为什么多轮对话的快慢取决于会话缓存大模型推理分两步:Prefill(预填充)一次性读完整个提示词,Decode(解码)逐词元生成回答。对话每多一轮,提示词就多几倍,若每次都从零预填充,首词元等待时间会线性恶化。MTPLX 的解法是:每轮结束后,把这段对话的KV 状态快照存入缓存。下一轮请求到达时,服务端做前缀匹配——只要新提示词与已缓存的历史吻合,就直接恢复(restore)状态,跳过几乎全部预填充。官方在 README.md 中写道:恢复后的轮次解码起来就像从未暂停过。两级架构:RAM 热银行 SSD 冷层整个机制由两层组成,源码位于 mtplx/session_bank.py 与 mtplx/cache_bank/ 目录:层级存储位置角色典型恢复速度RAM 热银行(Session Bank)内存对话进行中,轮与轮之间直接复用约 6 ms 恢复 92,521 词元SSD 冷层(持久化)~/.mtplx/session-bank/跨重启、跨进程保留会话43 ms 从磁盘恢复 1,552 词元,首词元 0.58 s(冷启动需 2.40 s)RAM 热银行的关键参数这些环境变量在 docs/server.md 中有完整说明:MTPLX_SESSION_BANK_MAX_BYTES:热缓存总预算,auto为模型权重之外的内存一半(1–48 GiB);MTPLX_SESSION_BANK_PER_SESSION_BYTES:单个会话预算,64 GB Mac 上跑 27B 为 13.2 GiB,128 GB 上为 32 GiB;MTPLX_SESSION_BANK_IDLE_TTL_S:空闲清理默认 1 小时,设为0可让条目驻留到内存不足为止;MTPLX_SESSION_BANK_MAX_ENTRIES:默认 24 个热条目,96 GB 及以上机器为 48。一个容易误解的点:缓存没有 5 分钟或 10 分钟的过期定时器,10 分钟窗口只决定超预算时谁先被淘汰。若会话超出单会话预算,系统会保留对活 KV的引用(lease),下一轮依然免预填充,代价是占用真实内存,/health接口会如实上报。8 毫秒恢复 96,760 词元:实测数据来自哪里这组数字出自 docs/releases/v2.11.3.md 中 M5 Max 上的真机验收(风扇拉满、交替开机测量):在应用内连续改写同一个 Flappy Bird 游戏:第二轮从会话银行 4 ms 恢复 54,530 词元;第三轮 8 ms 恢复 96,760 词元,5.8 秒内答完。同一次验收里的其他对照,能直观感受恢复相比冷重算的差距:场景冷路径恢复路径142k 词元会话(受限内存计划下)325–390 s 全量预填充命中热银行直接继续200,073 词元 OpenCode 提示冷启动预填充 243 s热跟随轮恢复 200,068 词元,首词元 0.89 s,50.6 tok/s带工具调用的 19k 词元对话每轮 15 s 到首词元修复缓存身份后 0.57 s 到首词元2.11.3 还专门修复了带工具的对话每轮都从头部预填充的三个缺陷(工具声明键序不一致、tool_choice: none轮次丢掉声明、服务端收尾指令混入历史),这是恢复率能从 74% 提升到 100% 的关键。SSD 持久化层:内容寻址的会话银行--ssd-session-cache默认为on,已提交的会话会写入~/.mtplx/session-bank/,结构是一个内容寻址存储:entries/——每个快照一份payload.json,声明它由哪些 blob 组成;blobs/——实际数据文件,多个快照共享的 blob 只存一份;manifest.sqlite——恢复时可用的条目索引。核心读写逻辑在 mtplx/cache_bank/cold_tier.py(约 2,900 行),序列化编解码在 mtplx/cache_bank/codec.py。常用配置速查配置默认值含义--ssd-session-cache {on,write-only,off}on是否写入/恢复 SSD 会话--ssd-session-cache-max-size100 GB(64 GB Mac 32 GB、32 GB 机 24 GB、16 GB 机 16 GB)整个目录的磁盘上限,实际取min(上限, 空闲磁盘/4),低于 10 GiB 空闲停止写入MTPLX_SSD_WRITE_BUDGET_PER_HOUR128 G每小时写入预算,保护 SSD 寿命MTPLX_SSD_WRITER_BACKLOG_BYTES4 G写入队列在内存中的缓冲上限,超大单条目直接流式落盘2.11.3 的两个改进值得留意:淘汰不再卡请求——清理空位时不再长持锁重读全部残留载荷,而是短锁删除 分步回收,受影响的回复速度提升 8%;深会话也能落盘——单会话上限改为跟随内存计划(64 GB Mac 上 27B 的 13.2 GiB 快照可以入盘),小内存机器重启后不再必然失忆。孤儿文件自愈:缓存仓库会自己打扫崩溃或中断可能留下清单已不认识的孤儿文件。实测有人三周后累积了 394,155 个孤儿文件、44.1 GB。现在的策略(mtplx/cache_bank/reconcile.py)是:每次打开缓存时后台对账(不阻塞启动和首个请求),删除无主文件,并向守护进程日志写一条mtplx_ssd_session_cache_reconcile记录;写入发现超上限时先回收垃圾,再按 LRU 淘汰活条目;手动检查随时可用,无需模型与 MLX:mtplx gc # 报告:活条目、磁盘占用、孤儿文件 mtplx gc --apply # 删除孤儿(daemon 运行时拒绝,--force 可覆盖)如何验证你的会话缓存正在工作打开http://127.0.0.1:8000/health,重点看两个字段组:session_bank:idle_ttl_s、字节预算、lease_entries/lease_nbytes,以及缓存未命中时的last_miss_reason(判断是过期还是真未命中);ssd_session_cache:entries、managed_disk_bytes、orphan_disk_bytes、orphan_cleanup_runs。应用界面里,仪表盘的Cached卡片也会直接显示本轮命中缓存的词元数(见文首截图中的 Context / Cached 区域)。常见问题速答如何完全关闭 SSD 持久化?启动参数加--ssd-session-cache off;只需写不读用write-only。恢复会改变模型答案吗?官方用固定种子做了热恢复 vs 冷重算对照:两者只在模型前两个候选概率完全打平的掷硬币位置出现一个词元差异,属于采样本身的边界,不是状态损坏。48 GB 机器跑 27B 超过 95k 词元怎么办?内存计划会拒绝超大快照入热银行(未命中原因现为oversized_snapshot_skipped而非含糊的盘未命中),2.11.4 将提供只写 SSD的溢出路径。想继续深入,建议按顺序阅读:docs/server.md 的 Warm session cache 与 SSD session cache 两节,以及 docs/releases/v2.11.3.md 的 Session cache 章节——所有实测数字均可在那里溯源。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考