ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

UniMate发布全记录:从数据集到训练推理代码的5大里程碑

UniMate发布全记录:从数据集到训练推理代码的5大里程碑 UniMate发布全记录从数据集到训练推理代码的5大里程碑【免费下载链接】UniMate[SIGGRAPH Asia 2026] UniMate: One Unified Model to Animate Diverse Skeletons项目地址: https://gitcode.com/GitHub_Trending/un/UniMateUniMate 是 SIGGRAPH Asia 2026 收录的统一运动生成模型给定任意骨骼 3D 资产和一句文本提示它就能实时生成对应的骨骼动画——无需针对每个骨架重新训练也无需测试时优化。从 2026 年 7 月论文录用到 9 月训练与推理代码全部开源项目仅用两个月就走完了从数据集、数据处理管线到完整代码的全记录。本文带你按时间线回顾这 5 大里程碑并附上新手友好的上手路径 核心亮点速览时间里程碑关键词2026-07-18论文被 SIGGRAPH Asia 2026 接收学术成果2026-08-013D 交互式 Demo 上线在线体验2026-08-30UniML3D 数据集开源13,006 条文本-运动配对2026-08-30六阶段数据处理管线开源下载→导出→渲染→打标→关节标注→特征提取2026-09-06训练 推理代码 预览权重开源完整复现里程碑一2026-07-18论文录用 SIGGRAPH Asia 2026 UniMate 的名字来自 Unified Mate统一伙伴一个模型通吃双足人形、四足动物、鸟类、海洋生物、昆虫、蛇形骨架甚至铰接刚体机器人、卫星、花朵等截然不同的骨骼拓扑。它的统一性来自三件事拓扑条件化每个对象的骨架结构父子关系、拓扑距离、图拉普拉斯特征等被打包进cond.npy作为条件输入规范化对齐所有运动统一做朝向对齐、居中、按直径缩放、接地处理共享解剖词汇表不同骨骼的关节名被清洗成统一的解剖学名称让同一种关节在所有骨架中获得相同嵌入。 项目完整说明见 README.md里程碑二2026-08-013D 交互式 Demo 上线代码还没放出前官方先开放了 Interactive Demo可以在网页里直接以 3D 形式浏览各物种的动画生成结果。对新用户来说这是理解文本 → 动画效果的最快途径——看一只狗匀速行走、一条飞龙扇翅起飞比读十页论文都直观。里程碑三2026-08-30UniML3D 数据集开源同一天大规模数据集UniML3D发布包含13,006 条带文本描述的运动序列覆盖 7 大类身体结构全部经过统一规范化处理。数据集汇聚了三大来源来源内容Mixamo人形角色动画单一骨架Truebones ZOO动物动作包商业授权需自行购买动作文件Objaverse-XL10,000 带骨骼的 3D 资产机器人、卫星、植物等对研究者最有价值的一点数据中每条运动都配有短文本描述 骨骼拓扑条件天然适配 flow matching / diffusion 这类生成式训练。里程碑四数据处理管线开源六阶段全流程可复现随数据集一起放出的是完整的数据处理管线data_process/README.md 有逐阶段说明。整条流水线分为六步每一步都有独立的 bash 入口脚本且全部支持断点续跑下载— data_process/scripts/run_download.sh导出— Blender 无头模式把 FBX/GLB 转成 NPZ 运动数据data_process/motion_export/渲染— EEVEE 四相机多视角渲染供视觉模型打标data_process/motion_rendering/打标— 视觉模型生成运动描述与身体结构分类data_process/vlm_caption/关节标注— 规则 LLM 双通道清洗关节名、选取朝向关节对data_process/joint_annotation/特征提取— 规范化为训练片段并写出cond.npydata_process/feature_extraction/新手提示如果只是想复现训练数据不必跑前 5 步——直接下载 UniML3D 后执行阶段 4 的提取脚本即可管线文档在 data_process/README.md 的 Quick Start 一节有现成命令。里程碑五2026-09-06训练与推理代码全量开源这是普通用户最关心的一步模型怎么训、怎么推理、零训练还能做什么全部开箱即用。一键获取代码与环境git clone https://gitcode.com/GitHub_Trending/un/UniMate conda create -n unimate python3.10 -y conda activate unimate pip install -r requirements.txt --no-build-isolation全部组件共用一个 conda 环境依赖见 requirements.txt。训练8 个现成配置两轴自由组合训练入口是 unimate/training/train.py配置集中在 configs/命名规则为{数据集}_{帧数}_{注意力}_{文本条件}.json注意力graph_adaln空间/时间解耦 图距离偏置或full_cross_attn联合注意 交叉注意数据完整 UniML3D、Truebones、Mixamo、Objaverse 四种组合。单卡一行启动scripts/run_train.sh 已封装好选卡与环境激活accelerate launch -m unimate.training.train --config configs/uniml3d_60frames_graph_adaln.json训练采用flow matching目标配合 EMA 权重与断点恢复——--resume可以精确接续到中断的那一步。模型主体在 unimate/models/去噪网络、扩散/flow 模块、T5 文本编码器核心实现如 unimate/models/denoiser/graph_adaln.py。推理文本生成运动无需重训给定一个骨骼资产和一句 prompt模型直接生成动画特征T, J, 12再经 data_process/mesh_animation/ 驱动原始网格导出带动画的 GLB/FBX。入口 unimate/inference/sample.py 支持 CFG 引导、固定种子、批量采样等参数封装脚本为 scripts/run_sample_motion_text.sh。零训练三大应用同一套权重的替换式采样妙处在于以下三个应用不需要任何额外训练原理都是钉住已知信号、只去噪其余部分约束被精确保持① 动作补帧In-betweening— 钉住关键帧自动生成中间过渡scripts/run_sample_motion_inbetween.sh② 文本引导动作编辑Motion Editing— 钉住指定关节如躯干用新 prompt 重新生成其余部分实现保持主体、换掉动作unimate/inference/motion_editing.py③ 动作扩展Motion Expansion— 把多段 prompt 首尾衔接链式生成长动作序列scripts/run_sample_motion_expand.sh写在最后两个月内UniMate 完成了从一篇论文到数据集 管线 训练 推理 权重的完整开源闭环 。它诚实地声明自己是通向任意骨架文本生成动画的早期一步——仍有不少运动与骨架会失败而扩充训练数据从智能体蒸馏或从视频生成是团队给出的下一步方向。想动手试水最短路径是克隆仓库 → 配好环境 → 下载 UniML3D → 跑 scripts/run_train.sh 复现训练再用 scripts/run_sample_motion_text.sh 生成你的第一条文本驱动动画。代码遵循 MIT 协议动手就完事了 【免费下载链接】UniMate[SIGGRAPH Asia 2026] UniMate: One Unified Model to Animate Diverse Skeletons项目地址: https://gitcode.com/GitHub_Trending/un/UniMate创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表