尧图网页设计 
Clef初探Cloudflare的27B多模态决策模型如何在单次前向传播中返回所有选项概率【免费下载链接】clef项目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clefClef 是 Cloudflare 开源的 27B 多模态决策模型它读取文本、JSON、图片或视频状态配合一份问题表schema在单次前向传播中同时返回每个问题所有允许选项的概率——不生成自由文本也无需解析输出。本文带你快速看懂 Clef 多模态决策模型的原理、文件构成与使用方法。为什么需要决策模型传统大语言模型回答问题靠逐字生成先输出文字再由程序解析成结构化结果。这个过程慢要反复采样 token、脆格式可能写错、需要重试、贵输出 token 计费。Clef 换了个思路属于近年流行的decision model / 结构化输出模型路线输入一段state任意字符串或 JSON 状态 可选的images/videos 一组类型化问题questions输出每个问题的每个选项各一个 logit按问题做 softmax 就得到概率分布⚡一次前向传播搞定所有问题输出 token 数为 0官方 README.md 的一句话定义很精炼Clef is a 27B multimodal model that turns a state and a schema of typed questions into decisions.三种问题类型noul / choice / scoreClef 支持三种问题类型见 joint_schema_model.py 中的QUESTION_TYPES类型含义输出形式noul是/否问题true 选项的概率choice命名选项的单选题各选项的概率取最高者为答案score有序档位评分题各档位概率输出期望分值 置信度例如判断这张发票是否逾期是noul该消息应分派给哪个团队是choice紧急程度打分是score。选项描述统一由criteria字段提供代码在 joint_schema_model.py#L46-L57 的question_options中展开成统一的选项列表。模型架构27B 主干 联合 Schema 头Clef 由两部分组成权重文件也是分开存放的1️⃣ 主干BackboneQwen3.8-27B 多模态模型Clef 由 Qwen/Qwen3.8-27B 中查到参数数值总参数量273.57 亿约 27B见 model.safetensors.index.json隐藏层数 / 维度64 层 / 5120 维上下文长度最长 262,144 tokens注意力结构线性注意力 全注意力混合每 4 层 1 层全注意力视觉编码器27 层 ViT16×16 patch支持图片与视频精度bfloat16权重分片存为 12 个 safetensors 文件图片与视频经 processor_config.json 中定义的 Qwen3VL 图像/视频处理器切块编码再以视觉 token 拼入文本序列对应 tokenizer_config.json 里的vision_bos_token等特殊符号。2️⃣ 联合 Schema 头Joint Schema Head这是 Clef 的点睛之笔一个小型 transformer 头配置见 joint_head_config.json宽度 1024、4 层解码器、16 个注意力头、2 层证据路由权重约几十 MB 的 joint_head.safetensors。它的工作流程实现在 joint_schema_model.py#L281-L459 的JointSchemaHead读主干隐状态主干跑完一遍后取最后隐藏层状态last_hidden_state作为记忆证据路由每个选项生成一个 query 向量通过 2 层EvidenceRoutingLayerjoint_schema_model.py#L242-L278从整段状态里检索相关证据跨问题共享、联合打分联合决策所有问题的字段向量放进 4 层 transformer 解码器交互一次再为每个选项合成logit 词法先验 相似度项 残差打分全部问题一次性出分。正因为所有问题共用同一次主干计算你问 1 个问题和问 10 个问题的成本几乎一样——这就是单次前向传播返回所有选项概率的由来。输入格式一个 record 长什么样encode_recordjoint_schema_model.py#L103-L196会把下面的 record 拼成固定模板系统提示 →STATE: 状态可含图片/视频占位符→SCHEMA FIELDS: 逐题的ID / TYPE / INSTRUCTION / ALLOWED OPTIONS→ 结尾的JOINT SCHEMA DECISIONS:。问题在模板中的 token 位置会被记录为 span供 Schema 头定位每个问题/选项对应哪段隐状态。{ state: {invoice: {vendor: Acme, total: 1250.0, status: overdue}}, questions: { status: {type: choice, instructions: What is the invoice status?, criteria: {paid: 已支付, overdue: 已逾期, draft: 未发送}}, large: {type: noul, instructions: Is the total above 1000 USD?} } }默认最长 16,384 tokens可用max_length/max_state_tokens限制输入规模纯文本与多模态记录还可以混在同一个 batch 里。快速上手加载模型并做一次决策官方在 README.md 中给出了完整示例要求torch2.11、transformers5.10.2单卡 H200 测试通过图片/视频输入另需pillowfrom joint_schema_model import collate_records, encode_record, load_release_model model, processor load_release_model(path, devicecuda) # 见 joint_schema_model.py#L494-L520 encoded encode_record(processor.tokenizer, record, processorprocessor) logits model(collate_records([encoded], pad_id, device))[0] for q, q_logits in zip(encoded.questions, logits): print(q.question_id, softmax(q_logits).tolist()) # 每个选项的概率load_release_model会一次性加载主干 Schema 头 处理器model(batch)[0]返回每个问题一组 logitssoftmax 即得概率——没有任何解码循环。兼容 Jev / SystemOne API直接接上你的业务systemone函数joint_schema_model.py#L546-L576直接接收 Jev/SystemOne 的POST /v1/systemone请求体并返回标准响应answers按问题 ID 组织choice答案含choiceconfidenceprobabilitiesscore答案含期望分值与图例noul答案就是 true 的概率usage中output_tokens恒为 0。如果你的系统已经对接了 Jev/SystemOne换成 Clef 几乎零改造。效果如何Decision Index 榜单成绩README 中给出了 Decision Index 0.2.1 套件的部分成绩百分比Clef vs Jev 对比摘选基准测试ClefJevBFCLcase exact98.595.8API-Bank91.988.2BANKING77macro-F194.279.7ContractNLImacro-F181.471.7MMLU90.391.7RAGTruth幻觉 F179.476.5中位延迟 (ms)209.3524.1端到端业务工作流上Typesafe EvalsClef 在发票处理、安全事件等场景的精确动作准确率也领先或持平完整表格见 README.md 的 Results 章节。文件清单与许可仓库文件一目了然全部为 Apache-2.0 许可LICENSE文件作用model-00001~00012-of-00012.safetensors model.safetensors.index.json主干权重含视觉编码器joint_head.safetensors joint_head_config.json联合 Schema 头权重与配置joint_schema_model.py记录编码、批处理、模型定义、load_release_model与systemoneconfig.json / generation_config.json主干与生成参数tokenizer.json / tokenizer_config.json / chat_template.jinja分词器与对话模板processor_config.json图片/视频处理器配置小结Clef 多模态决策模型适合谁✅ 需要低延迟、确定性结构化输出的线上决策工单分类、发票处理、事件分诊、路由打分✅ 一次请求要同时回答多个相关问题希望共享推理成本✅ 输入天然包含图片/视频票据识别、截图分析✅ 已有 Jev/SystemOne 集成想无缝替换想试试更轻量更快的版本可以看看同门的 Clef-Flash。Clef 用主干理解 联合 Schema 头联合打分的方式把读懂状态 → 回答多个类型化问题压缩进了一次前向传播是结构化输出模型里很值得研究的一个工程范例。【免费下载链接】clef项目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clef创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Clef初探：Cloudflare的27B多模态决策模型如何在单次前向传播中返回所有选项概率？
Clef初探Cloudflare的27B多模态决策模型如何在单次前向传播中返回所有选项概率【免费下载链接】clef项目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clefClef 是 Cloudflare 开源的 27B 多模态决策模型它读取文本、JSON、图片或视频状态配合一份问题表schema在单次前向传播中同时返回每个问题所有允许选项的概率——不生成自由文本也无需解析输出。本文带你快速看懂 Clef 多模态决策模型的原理、文件构成与使用方法。为什么需要决策模型传统大语言模型回答问题靠逐字生成先输出文字再由程序解析成结构化结果。这个过程慢要反复采样 token、脆格式可能写错、需要重试、贵输出 token 计费。Clef 换了个思路属于近年流行的decision model / 结构化输出模型路线输入一段state任意字符串或 JSON 状态 可选的images/videos 一组类型化问题questions输出每个问题的每个选项各一个 logit按问题做 softmax 就得到概率分布⚡一次前向传播搞定所有问题输出 token 数为 0官方 README.md 的一句话定义很精炼Clef is a 27B multimodal model that turns a state and a schema of typed questions into decisions.三种问题类型noul / choice / scoreClef 支持三种问题类型见 joint_schema_model.py 中的QUESTION_TYPES类型含义输出形式noul是/否问题true 选项的概率choice命名选项的单选题各选项的概率取最高者为答案score有序档位评分题各档位概率输出期望分值 置信度例如判断这张发票是否逾期是noul该消息应分派给哪个团队是choice紧急程度打分是score。选项描述统一由criteria字段提供代码在 joint_schema_model.py#L46-L57 的question_options中展开成统一的选项列表。模型架构27B 主干 联合 Schema 头Clef 由两部分组成权重文件也是分开存放的1️⃣ 主干BackboneQwen3.8-27B 多模态模型Clef 由 Qwen/Qwen3.8-27B 中查到参数数值总参数量273.57 亿约 27B见 model.safetensors.index.json隐藏层数 / 维度64 层 / 5120 维上下文长度最长 262,144 tokens注意力结构线性注意力 全注意力混合每 4 层 1 层全注意力视觉编码器27 层 ViT16×16 patch支持图片与视频精度bfloat16权重分片存为 12 个 safetensors 文件图片与视频经 processor_config.json 中定义的 Qwen3VL 图像/视频处理器切块编码再以视觉 token 拼入文本序列对应 tokenizer_config.json 里的vision_bos_token等特殊符号。2️⃣ 联合 Schema 头Joint Schema Head这是 Clef 的点睛之笔一个小型 transformer 头配置见 joint_head_config.json宽度 1024、4 层解码器、16 个注意力头、2 层证据路由权重约几十 MB 的 joint_head.safetensors。它的工作流程实现在 joint_schema_model.py#L281-L459 的JointSchemaHead读主干隐状态主干跑完一遍后取最后隐藏层状态last_hidden_state作为记忆证据路由每个选项生成一个 query 向量通过 2 层EvidenceRoutingLayerjoint_schema_model.py#L242-L278从整段状态里检索相关证据跨问题共享、联合打分联合决策所有问题的字段向量放进 4 层 transformer 解码器交互一次再为每个选项合成logit 词法先验 相似度项 残差打分全部问题一次性出分。正因为所有问题共用同一次主干计算你问 1 个问题和问 10 个问题的成本几乎一样——这就是单次前向传播返回所有选项概率的由来。输入格式一个 record 长什么样encode_recordjoint_schema_model.py#L103-L196会把下面的 record 拼成固定模板系统提示 →STATE: 状态可含图片/视频占位符→SCHEMA FIELDS: 逐题的ID / TYPE / INSTRUCTION / ALLOWED OPTIONS→ 结尾的JOINT SCHEMA DECISIONS:。问题在模板中的 token 位置会被记录为 span供 Schema 头定位每个问题/选项对应哪段隐状态。{ state: {invoice: {vendor: Acme, total: 1250.0, status: overdue}}, questions: { status: {type: choice, instructions: What is the invoice status?, criteria: {paid: 已支付, overdue: 已逾期, draft: 未发送}}, large: {type: noul, instructions: Is the total above 1000 USD?} } }默认最长 16,384 tokens可用max_length/max_state_tokens限制输入规模纯文本与多模态记录还可以混在同一个 batch 里。快速上手加载模型并做一次决策官方在 README.md 中给出了完整示例要求torch2.11、transformers5.10.2单卡 H200 测试通过图片/视频输入另需pillowfrom joint_schema_model import collate_records, encode_record, load_release_model model, processor load_release_model(path, devicecuda) # 见 joint_schema_model.py#L494-L520 encoded encode_record(processor.tokenizer, record, processorprocessor) logits model(collate_records([encoded], pad_id, device))[0] for q, q_logits in zip(encoded.questions, logits): print(q.question_id, softmax(q_logits).tolist()) # 每个选项的概率load_release_model会一次性加载主干 Schema 头 处理器model(batch)[0]返回每个问题一组 logitssoftmax 即得概率——没有任何解码循环。兼容 Jev / SystemOne API直接接上你的业务systemone函数joint_schema_model.py#L546-L576直接接收 Jev/SystemOne 的POST /v1/systemone请求体并返回标准响应answers按问题 ID 组织choice答案含choiceconfidenceprobabilitiesscore答案含期望分值与图例noul答案就是 true 的概率usage中output_tokens恒为 0。如果你的系统已经对接了 Jev/SystemOne换成 Clef 几乎零改造。效果如何Decision Index 榜单成绩README 中给出了 Decision Index 0.2.1 套件的部分成绩百分比Clef vs Jev 对比摘选基准测试ClefJevBFCLcase exact98.595.8API-Bank91.988.2BANKING77macro-F194.279.7ContractNLImacro-F181.471.7MMLU90.391.7RAGTruth幻觉 F179.476.5中位延迟 (ms)209.3524.1端到端业务工作流上Typesafe EvalsClef 在发票处理、安全事件等场景的精确动作准确率也领先或持平完整表格见 README.md 的 Results 章节。文件清单与许可仓库文件一目了然全部为 Apache-2.0 许可LICENSE文件作用model-00001~00012-of-00012.safetensors model.safetensors.index.json主干权重含视觉编码器joint_head.safetensors joint_head_config.json联合 Schema 头权重与配置joint_schema_model.py记录编码、批处理、模型定义、load_release_model与systemoneconfig.json / generation_config.json主干与生成参数tokenizer.json / tokenizer_config.json / chat_template.jinja分词器与对话模板processor_config.json图片/视频处理器配置小结Clef 多模态决策模型适合谁✅ 需要低延迟、确定性结构化输出的线上决策工单分类、发票处理、事件分诊、路由打分✅ 一次请求要同时回答多个相关问题希望共享推理成本✅ 输入天然包含图片/视频票据识别、截图分析✅ 已有 Jev/SystemOne 集成想无缝替换想试试更轻量更快的版本可以看看同门的 Clef-Flash。Clef 用主干理解 联合 Schema 头联合打分的方式把读懂状态 → 回答多个类型化问题压缩进了一次前向传播是结构化输出模型里很值得研究的一个工程范例。【免费下载链接】clef项目地址: https://ai.gitcode.com/hf_mirrors/Cloudflare/clef创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考