看到openrig这个名字老折腾硬件的朋友估计都会心一笑。rig这个说法在英文装机圈里很常见游戏整机叫gaming rig专门用来跑模型和渲染的机器叫AI rig。加上open前缀意思就变了——不是哪家厂商闭门造车卖一个“全家桶”而是把整套硬件的选型逻辑、结构设计、系统配置、软件环境全部摊开让任何人都能按着这份清单组装一台能干活、能升级、能复现的算力终端。这篇文章我就把它按“开放DIY AI算力工作站”来拆解。它能解决什么问题至少三点云GPU按小时收费长期跑服务一个月下来账单肉疼数据传上云有隐私顾虑内部数据不方便出内网还有小团队想做自己的AI API服务不想被平台绑定。适合谁看准备自建本地推理机的个人开发者、搞深度学习实验的研究生、给团队搭AIGC生产环境的小运维以及只是想知道“一台能跑大模型的机器到底怎么配”的围观群众。这套东西没那么玄本质就是三件事把钱花在显存和PCIe通道上把软件环境收敛成容器把所有的折腾记录固化成文档。后面我会按这个思路把openrig从一张配置单讲到跑出第一个模型结果。1. 内容整体设计与思路拆解1.1 为什么是“open”开放的意义在于可复现与可演进我提openrig这个概念不是指“开源一个机箱”物理硬件又没法复制。真正的开放是把整机的BOM公开每张显卡、每块电源具体型号写清楚把结构图纸公开用哪种铝型材、哪个3D打印的显卡支架、哪套风冷布置别人照着就能复刻把装机过程中的BIOS设置、驱动命令、踩坑记录全部放进仓库。它更像一本可以持续修订的“装机构造手册”。开放带来的直接好处有两个。第一个是不被单一供应商绑架核心配件坏了能自己换下一代显卡出来只换卡不换机。第二个是社区能帮忙排错你遇到供电不稳定的问题别人可能已经在仓库里写好了解决方案这种经验积累比任何一个客服都可靠。很多人的第一反应是“硬件开源没意义”但真正实践过就知道文档和配置的开放才是能省掉几个月摸索时间的关键。1.2 为什么是“rig”从游戏整机到算力终端的思路转变rig这个词自带一种“自己攒出来”的气质跟买一台现成服务器完全不同。服务器讲究的是稳定、冗余、远程管理当然也要考虑安静和成本。而rig更像是你的工作台是围绕你自己的使用习惯组合出来的工具。一台gaming rig的乐趣在于配件搭配、RGB灯效、极限散热一台AI rig的乐趣则在于显存规划、多卡拓扑、推理吞吐。我平时更喜欢用rig而不是server来形容这类机器因为它的边界更灵活。你今天可以只插一张显卡跑推理明天要微调模型了再加一张后天发现显存不够可以换成更大显存的专业卡。整台机器的生命周期是跟着模型需求走的不是一次定型终身不改。这种思路跟开源社区推崇的“模块化、可组合”理念天然契合。1.3 典型使用场景与边界结合我给这台openrig的定位它主要覆盖这么几类场景个人开发者的本地推理与实验比如自己跑开源大模型的对话、写代码、摘要总结或者测试RAG流程小团队的AIGC生产环境把镜像服务、API接口部署在这台机器上数据不出内网合规压力小很多高校实验室和竞赛队伍做深度学习实验、跑消融对比不用跟别人抢共享集群私有数据训练的前置环境数据敏感先在自己的机器上完成预处理和初步微调。但它也有明确的边界。真要训练几百亿甚至上千亿参数的模型或者做每天跑几百个实验的大规模调参那就不是一台rig能扛住的事应该去看专业的训练集群。openrig的价值是把“中等规模、长期运行、灵活调整”这件事做好而不是替代数据中心。2. 硬件选型与参数配平2.1 先定GPU显存决定你能跑什么模型选配件时我会反复强调先定GPU因为整台机器的预算重心、电源规格、主板通道、机箱尺寸都由它决定。而GPU选型第一看显存第二看算力第三看功耗。显存不够再强的算力也跑不起来大模型。模型能不能装进显存有个很简单的心算公式FP16推理时模型权重占用的显存大约是“参数量亿×2字节”。7B的模型大概需要14GB权重显存再加上KV Cache和开销单卡24GB刚好够如果把权重量化成INT47B模型大概只需要4GB到5GB很多16GB显存的卡都能轻松跑。这是一个经常被新手忽略的点量化和KV Cache优化往往比直接买更大显存的卡更划算。模型规模示例参数量FP16 权重占用INT4 量化后适合的显存配置7B 对话模型约70亿14GB约5GB16GB 入门即可24GB 更从容13B 通用模型约130亿26GB约8GB24GB 在推理与量化之间取得平衡34B 模型约340亿68GB约20GB单卡48GB或双卡24GB70B 模型约700亿140GB约40GB双卡48GB或多卡量化选卡时还要分清自己主要是做推理还是做训练微调。推理更吃显存和带宽对算力要求相对低训练微调则是算力和显存双重消耗。下面这张表是我目前觉得性价比比较清晰的几档选择显卡型号显存功耗典型定位RTX 4070 Ti SUPER16GB285W入门推理、量化模型、轻量实验RTX 4080 SUPER16GB320W更高吞吐的推理轻度微调RTX 409024GB450W主流单卡AI平台7B训练、13B量化推理RTX 6000 Ada48GB300W专业场景大显存单卡跑更多任务L40S48GB350W数据中心级适合小团队多卡部署2.2 再定CPU与主板PCIe通道决定多卡能跑多快很多人选完显卡就开始纠结散热却忽略了CPU和主板。实际上在多卡场景里PCIe通道数才是会被第一个卡住的瓶颈。两张卡插上去如果主板只支持PCIe 4.0 x16x8那第二张卡的速度直接减半训练时的数据交换、分布式通信都会受拖累。消费级平台通常CPU只提供20到24条PCIe通道双卡基本只能跑x8x8HEDT平台比如AMD TRX50和工作站平台Intel Xeon W系列能提供40到64条通道四张卡都能稳稳跑x16直连。差异在单卡推理时感觉不出来但在多卡并行训练、模型并行推理时差距非常明显可能是30%到50%的吞吐差距。平台类型CPU典型内存CPU直连通道数多卡建议入门消费级Core i5/R5DDR4/DDR520条左右单卡为主双卡被迫x8主流消费级Core i7/i9、R7/R9DDR520条左右双卡x8/x8适合轻量多卡HEDT入门Threadripper 7000DDR548条以上三卡x16或四卡x16工作站级Xeon W-2400/3400DDR5 ECC64条四卡x16直连适合正经生产2.3 内存、硬盘、电源、散热短板效应最明显内存这块我的建议是“能上多高上多高”。跑大模型不只看显存CPU内存也是关键尤其是做数据预处理、加载词表、跑embedding模型的时候。64GB是起步128GB会舒服很多。别指望后期慢慢加DDR5四条插满时的稳定性没有两条同容量那么好尽量一开始插到位。硬盘要NVMe协议最好直接上2TB以上。模型文件动辄几十GB加载进显存的速度直接受磁盘读取速度影响。有条件的话用两块NVMe组RAID 0顺序读取能翻倍对大数据集的加载提升非常明显。注意RAID 0没有冗余模型文件丢了要重新下通常我只把缓存目录和临时数据集放在RAID里真正重要的代码和数据仍然放单盘或定期备份。电源是最不应该省钱的地方。功率估算很简单显卡TDP之和加CPU功耗再加100W左右的周边余量然后乘1.2到1.3的安全系数。比如两张RTX 4090加上一颗350W的CPU算下来就是(900350100)×1.3大约1755W那至少得配1600W的钛金电源甚至直接上2000W。每张显卡一定要用独立的供电线千万别用一分二的转接线。散热方面显卡功耗上了400W风冷塔式机箱很容易积热。很多自己搭AI rig的人会选择开放式机架用铝型材搭骨架显卡之间留出足够间距再配合大尺寸风扇直吹。这样温度通常能压住换卡也方便。2.4 机箱结构与整体布局散热和可维护性的权衡如果你也在考虑把openrig做成一个可复现的开源项目机箱结构最好不用绝对尺寸固定的成品机箱。我见过好几种方案欧标4040铝型材搭一个开放框架显卡横向排列顶部固定ATX电源或者用一个半开放式工作站机箱正面进风、侧面出风保留一定的防尘能力。3D打印的部件主要集中在显卡固定支架、风扇转接框、理线夹这几个位置文件格式用STEP和STL都方便别人二次修改。开放式的代价是噪音和积灰。如果机器放在工位旁边风扇转速要调到听不到的范围如果放在独立机房那就可以放开跑。机箱这部分没有绝对最优解核心是让每张卡的尾部热气不要吹进另一张卡的进风口供电线走线不遮挡风扇并且保证换卡不需要拆掉整台机器。3. 系统软件栈与运行环境搭建3.1 宿主系统Ubuntu Server就够了openrig的宿主系统我推荐Ubuntu Server LTS原因很简单驱动支持最及时社区资料最多踩坑时随便一搜就能找到答案。装系统时选最小安装不装桌面环境省下来的内存和CPU资源全部留给计算任务。你要是实在不习惯纯命令行装完系统后再装一个轻量桌面也可以但生产用的机器桌面往往是多余的。有个很容易犯的错误驱动和内核版本不匹配导致开机黑屏。Ubuntu Server自带的nouveau开源驱动跟NVIDIA闭源驱动会打架所以装完系统后第一件事就是确认nouveau已经被屏蔽。如果机器上有核显建议先用核显启动等NVIDIA驱动装完再切换回独显。这种“先让系统能亮再碰显卡驱动”的顺序能避免90%的装机翻车。3.2 驱动与NVIDIA Container Toolkit驱动安装有两种常见方式直接用Ubuntu的apt源装或者用NVIDIA官网的runfile。我平时优先用apt源因为太省事了sudo apt update sudo apt install ubuntu-drivers-common sudo ubuntu-drivers devices sudo apt install nvidia-driver-550 sudo reboot重启后执行nvidia-smi如果能正常列出显卡和驱动版本说明驱动已经就位。这里有一个很多人没想明白的点宿主机上只需要装驱动不需要装CUDA Toolkit。CUDA Toolkit是给编译和运行CUDA程序用的而我们现在全都跑在容器里容器自带对应版本的CUDA宿主机装一套反而容易跟PyTorch版本打架。容器环境需要NVIDIA Container Toolkit它的作用是把GPU设备透传给Docker容器curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt update sudo apt install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker3.3 用容器隔离CUDA环境环境隔离是openrig最重要的软件设计思路。传统的做法是在宿主机上装Python、装PyTorch、装CUDA然后为每个项目创建虚拟环境但虚拟环境管不住CUDA版本。容器把这个问题彻底解决了一个项目一个镜像镜像里固定CUDA、PyTorch、模型依赖别人拿到你的compose文件就能跑出完全一样的环境。验证容器能否用GPU一句话就够了docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi如果容器里的nvidia-smi能看到显卡信息说明驱动和Container Toolkit的链路已经打通。从此以后所有AI任务都建议在容器里跑宿主机保持干净。这也是openrig能被复现的关键别人不用关心你宿主机上装了什么只要有一个能跑容器的Linux环境就行。3.4 远程开发与任务管理机器不一定放在手边远程是常态我通常把SSH服务配好密钥登录然后用VS Code Remote-SSH直接连上去写代码。跨机器拷贝大模型文件时用rsync比scp靠谱得多它能断点续传网络抖动也不怕。长时间跑训练任务时tmux是必需品。先用tmux开一个会话然后进去启动训练脚本即使SSH断了任务也不会挂。想要更规范化就用systemd管理常驻服务或者更简单一点把GPU容器服务定义成docker compose。services: llm: image: vllm/vllm-openai:latest runtime: nvidia environment: - NVIDIA_VISIBLE_DEVICESall - VLLM_GPU_MEMORY_UTILIZATION0.9 ports: - 8000:8000 volumes: - ~/.cache/huggingface:/root/.cache/huggingface shm_size: 16g command: --model Qwen/Qwen2.5-7B-Instruct --dtype bfloat16 --max-model-len 8192启动服务后整个openrig就从一个“能跑推理的裸机”变成了一个可以供团队调用的API服务节点。4. 从零跑通一台openrig的完整流程4.1 装机清单与现场关键点我给一个具体的参考配置不是标准答案但足够说明整机怎么配起来CPUAMD Threadripper 7960X或Intel Xeon W-2455重点是PCIe通道数主板TRX50或W790平台留足5到6条PCIe x16插槽内存128GB DDR5 ECC或非ECC看平台支持GPU两张RTX 409024GB显存先跑大模型推理和中小规模微调系统盘1TB NVMe数据盘2TB NVMe RAID 0电源2000W 80Plus Platinum/TitaniumATX 3.0机箱开放式铝型材机架或半开放工作站机箱。装机现场最容易出问题的是显卡供电和物理间距。4090的12VHPWR接头要插到底听到“咔哒”才算到位两张卡之间至少留两槽间距。装系统前先把所有PCIe槽位规划好不要出现第一张卡挡住第二张卡供电线的情况。4.2 装系统与初始化用Ubuntu Server安装盘启动分区时把系统盘和RAID数据盘分开。系统装好后登录第一件事更新软件源第二件事就是屏蔽nouveau。在/etc/modprobe.d/blacklist-nouveau.conf里写入黑名单然后执行sudo update-initramfs -u重启后确认nouveau没加载。驱动安装流程按第三部分的apt方式走就行。装完驱动后立刻跑一次nvidia-smi确认两张卡都被识别温度、功耗信息正常。然后装上Docker和NVIDIA Container Toolkit跑一次GPU容器验证。4.3 第一次跑通本地推理最直接的验证方式是ollama一条命令就能把7B左右的模型拉起来curl -fsSL https://ollama.com/install.sh | sh ollama run llama3.1第一次运行会下载模型之后就能在命令行里对话。这个时候你会看到nvidia-smi里显存使用率飙上去说明模型真的跑在GPU上。ollama适合快速验证硬件是否正常但要做更复杂的项目还是用vLLM或Transformers更灵活。如果用HuggingFace生态我一般这么写推理脚本from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen2.5-7B-Instruct model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypeauto, device_mapauto ) tokenizer AutoTokenizer.from_pretrained(model_name) messages [{role: user, content: 用一句话解释什么是本地推理。}] text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs tokenizer([text], return_tensorspt).to(model.device) out model.generate(**inputs, max_new_tokens128) print(tokenizer.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue))跑通这段代码意味着驱动、CUDA、PyTorch、模型权重整个链路已经没有问题了。4.4 尝试一次真实的微调实验能推理之后下一步几乎都会想微调。微调比推理吃显存得多同样是7B模型推理只要14GB权重显存训练还要额外存放梯度、优化器状态和激活值单卡24GB通常只能塞下很小的batch。经验做法是把训练目标锁在“把模型调教成能完成某个特定任务”上用LoRA这种参数高效微调方式而不是全量微调。在单卡4090上跑7B模型的LoRA微调batch size设2到4比较稳。需要开启gradient checkpointing优化器用AdamW 8bit再配合梯度累积把有效batch撑到16或32。如果出现OOM第一反应不是换更大显存的卡而是先降低batch size、开gradient checkpointing、把序列长度缩短一点。这些操作能省下大量显存而且对最终效果的影响通常可控。5. 常见问题与排查技巧实录5.1 问题速查表下面这张表是我和身边朋友在实际搭建中遇到频率最高的问题可以直接当排查手册用。现象常见原因快速排查与解决nvidia-smi显示No devices显卡没插好、供电线松、驱动太旧重新插卡、换独立供电线、更新驱动装完驱动开机黑屏nouveau冲突、Secure Boot未处理屏蔽nouveau、关闭Secure Boot、用核显启动容器里nvidia-smi失败Container Toolkit没配置或Docker未重启检查libnvidia-container、重启Docker、确认NVIDIA_VISIBLE_DEVICESGPU利用率只有个位数数据加载瓶颈、单机任务太小、CPU喂不动增加DataLoader进程、检查是否用了CPU预处理、用nvtop实时看多卡并行速度不升反降PCIe通道不足、NCCL通信慢、没有Persistence Mode检查lspci通道速度、执行nvidia-smi -pm 1、确认网络无瓶颈温度直奔90度卡间距太近、风道不畅、风扇策略太保守加大卡间距、用开放式机架、调整风扇曲线OOM显存不足batch过大、序列太长、没开梯度检查点减小batch、开启gradient checkpointing、考虑量化加载机器瞬间断电重启电源峰值不够、多卡瞬态电流过大换更大电源、每卡独立供电线、检查家庭电路容量5.2 需要展开说的几个经典坑容器里看不到GPU是最常见也最容易被忽略的坑。问题往往不在于Docker本身而在于Docker守护进程启动时没有加载NVIDIA运行时。装完NVIDIA Container Toolkit之后一定要执行sudo systemctl restart docker而且配置生效顺序是先改运行时配置再启动容器。多卡环境里很多人以为插了两张卡就会自动并行结果用了原始的单卡代码跑第二张卡纹丝不动。如果只是单进程推理默认代码只会用cuda:0想真正用上多卡要么用device_mapauto做模型并行要么用torchrun --nproc_per_nodeN启动分布式训练。别指望框架帮你自动完成所有事情。电源问题是我见过最多的“神秘重启”根源。RTX 4090这种卡瞬时功耗可以冲到接近600W两张卡同时触发保护再好的电源也可能应接不暇。建议电源余量留足而且尽量不要和其他大功率电器共用一条回路。如果机器放在家里最好确认墙插能承受住满载功率。6. 从单机到小集群的扩展思考6.1 什么时候你该加第二台机器当你在单机上做这些事已经觉得别扭时就该考虑扩展了任务排队越来越长、数据预处理和推理抢显卡、想要跑的模型参数规模超过现有显存总和。加一张卡能解决就优先加卡如果是因为训练任务和推理服务要同时跑而互相干扰那第二台机器更合适。第二台机器不一定要跟你第一台一模一样只要软件栈保持一致就行。我见过很务实的方案主力机放训练任务第二台便宜一点的机器只放推理服务两张入门的RTX 4070 Ti SUPER就能扛住小团队的API请求。6.2 小集群的工具选型小集群最怕犯的错是过度工程化。两个节点之间要通信最简单的方案是共享网络存储NFS加手动rsync分发脚本能解决大部分需求。当节点数超过三台或者你需要统一的资源排队、故障重启能力再考虑K3s这种轻量Kubernetes发行版加上NVIDIA的GPU Device Plugin。如果团队本身是做科研和训练的Slurm依然是更贴近深度学习的调度方案。它能把多台机器的GPU看成一个池子用户提交任务时指定“我需要两张卡”调度器自动分配到空闲节点。配置起来比K3s复杂但符合很多实验室的使用习惯。选哪套不重要重要的是定义清楚自己的“作业模型”是短时交互式任务多还是长时训练任务多。6.3 开放生态与长期维护openrig想长期有价值不能停留在“我一个人把机器跑通了”这个状态。硬件选型、驱动版本、容器镜像、复现步骤这些信息如果不写下来三个月后再看基本等于失忆。我习惯在每个项目目录里放一个README记录这次用了什么镜像、什么模型、什么参数同时把训练脚本、compose文件、甚至BIOS设置的截图都归到仓库里。这样做还有一个实际收益等下一代显卡出来或者社区有人分享了更好的散热方案你能很快判断哪些部分值得升级哪些部分不用动。开放并不是把东西都丢出去而是让后来者站在你的经验上不用重复踩一遍你踩过的坑。我自己折腾过几台这种机器后最大的体会是不要一开始就照着最贵的配置单买齐先搭一套最小可用的组合跑通模型让瓶颈自己暴露出来。很多时候你以为缺算力实际缺的是显存你以为要加显卡实际是被数据加载卡住了。openrig真正的魅力在于它逼着你去理解整条链路——从显存里的权重布局到PCIe通道上的数据流动再到容器里的一次次环境重建。把这套东西摸透了比花钱买一台“一步到位”的机器有价值得多。