ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

DELL R750xs RAID阵列配置指南:从PERC BIOS到系统安装

DELL R750xs RAID阵列配置指南:从PERC BIOS到系统安装 最近连续碰到好几个朋友拿DELL R750xs来问阵列配置的事有的卡在找不到PERC BIOS入口有的系统安装时看不到虚拟磁盘还有的配好RAID 5之后读写速度跟单盘差不多各种问题挤在一起确实挺让人头大。这篇文章我就从R750xs这台“性价比型”服务器的阵列配置讲开去把RAID级别怎么选、PERC BIOS怎么进、驱动怎么加载、阵列建完以后怎么维护一条线全部捋清楚。如果你正准备给R750xs做RAID阵列配置或者手头已经有一台但搞不定阵列/系统安装可以直接把这份笔记当作踩坑地图。1. 先把R750xs的阵列家底摸清楚1.1 这台“性价比入门款”到底内置了哪张RAID卡R750xs是2U机架式定位比R750稍微亲民一些但平台血统和R750是同一代的。恰恰因为“性价比”它的阵列控制器配置反而更值得提前确认。我经手过的R750xs大致有下面几种情况不带独立硬件RAID卡靠板载S150软件RAID只能管SATA盘适合当文件服务器或测试机标配或选配PERC H355这是入门级SATA/SAS RAID卡支持RAID 0/1/5/10但没有缓存选配PERC H755带2GB缓存和超级电容掉电保护是R750xs上最常见的硬卡之一偶尔会有H755N之类支持NVMe直通的型号但多用于全闪场景。很多人上来就按CtrlR结果发现进不去原因就是机器压根没装PERC硬卡走的S150软件RAID。所以我的第一个建议是先别急着配置开机按F2进System Setup在“Device Settings”里看有没有RAID控制器条目或者进iDRAC的“Storage”页面看控制器型号和固件版本。确认好硬件再动手省得后面白折腾。1.2 盘位布局与热插拔背板别插错槽位再抱怨识别不到R750xs常见配置有8盘位、12盘位等具体以订单和机箱背板为准。不同盘位数量对应不同的背板背板到RAID卡之间通常走SFF-8643线缆这就是大家经常听到的“raid卡上行 下行 8643”。这些线缆一端接背板一端接RAID卡端口物理上大部分能插进去但方向和端口接错轻则盘序错乱重则直接识别不到盘。我之前帮人排查过一台R750xs四块盘在PERC BIOS里只能看到两块其余盘在物理磁盘列表里完全消失。查到最后是上一次维护时线缆被拔下来重新插把两根8643的上下行接反了。所以物理盘识别异常先别怀疑盘坏了按下面顺序排查关电拔掉所有8643线缆对照Dell官方手册确认每个端口对应的背板槽位插回去时注意卡口方向和线缆标签有些线缆是直连线有些是交叉线开机后在PERC BIOS里看物理盘数量、序列号和物理位置是否一致。顺便说一下盘位编号。R750xs背板上常见标注是0到7或者1到8不同机箱定义不同。创建阵列时最好记录盘位和盘序列号的对应关系否则未来换盘时只能靠猜。1.3 进入配置界面之前必须确认的三件事不管你准备做什么级别的RAID动手前先花两分钟确认三件事能省掉80%的售后工单RAID卡固件版本进iDRAC的Storage控制器页面当前固件的版本一定要记下来。如果固件太旧建议先去官网升级到稳定版避免后面配置时出现随机掉盘或创建VD后反复丢失配置。硬盘状态新盘没什么问题但如果是旧机器拆下来的盘要确认是否做过RAID配置或残留文件系统。重复使用的盘建议先在PERC BIOS里把非RAID盘改成RAID capable状态否则创建VD时根本勾选不到。是否已有历史配置很多服务器是从旧环境退下来的控制器里还留着旧的虚拟磁盘。不先清理旧配置新盘会被旧VD占用你创建新VD时可用物理盘为0。这些看起来不起眼但在真实运维里十次“进不去配置界面”和“装不了系统”的故障八次都能在这里找到原因。2. 在PERC BIOS里创建阵列一步一步照着做2.1 从开机到进入CtrlR/CtrlC的完整按键时机R750xs开机后会出现Dell Logo自检过程中屏幕下方或上方会短暂提示类似“Press CtrlR to enter configuration utility”或“Press for System Setup”。看到这个提示马上按CtrlR错过的话就重启重来。按完以后会进入PERC BIOS的图形化界面这就是我们常说的“阵列卡配置界面”。除了CtrlR还有一条路开机按F2进入System Setup然后选“Device Settings”再选中RAID卡比如PERC H755 Adapter也能进入同样的配置页面。我个人更推荐用F2入口尤其当你需要同时改BIOS启动模式、RAID卡固件和阵列配置时不用反复重启。这里有个小细节如果机器里装了很多盘或者某些盘通电后转速起来慢自检阶段会在RAID卡扫描磁盘那里卡一会儿屏幕可能黑屏或一直转圈。别以为它死机了等它扫完就好。实在不放心可以按F2看iDRAC的Lifecycle Controller日志。2.2 用Configuration Wizard创建新VD虚拟磁盘进入PERC BIOS后主菜单一般有“Configuration Management”“Controller Management”“Virtual Disk Management”等条目。创建新阵列时我建议直接在“Configuration Management”下面选“Create Virtual Disk”走手动配置而不是用自动向导。自动向导会把所有符合条件的光盘直接打包成一个VD不给你选择盘序和分多个VD的机会。手动配置看起来多个步骤实际上更可控。具体操作如下选择目标PERC控制器点击“Create Virtual Disk”在“Select Physical Disks”列表里勾选要参与阵列的硬盘列表里每块盘会显示容量、接口类型、盘位和序列号选择RAID级别比如RAID 5还是RAID 10设置VD名称、容量和条带大小。条带大小默认64KB适合大多数混合负载如果明确做大文件视频存储或备份池可以选128KB或256KB设置读取策略数据库这种随机读多、又有缓存保护的场景建议“No Read Ahead”大文件顺序读场景可以选“Read Ahead”设置写入策略默认“Write Back”性能最好但要确认RAID卡有电池或超级电容保护如果不确定供电可靠性就用“Write Through”牺牲一点性能换数据安全磁盘缓存策略机械盘可以保留“Enable”但企业级固态盘建议“Disable”避免意外断电时缓存中的数据丢失。设置完成后点击“Create Virtual Disk”系统会询问是否初始化。新阵列建议做一次“Initialize”但你可以先选“Fast Initialize”快速完成后续有时间再做完整的一致性检查或慢初始化。2.3 全局热备盘的设置与释放创建完VD后如果还有空闲盘强烈建议至少设置一块全局热备盘。操作不复杂在“Physical Disk Management”或“Manage Physical Disks”里选中空闲盘右键或点击菜单里的“Assign Global Hot Spare”。热备盘容量一定要大于等于VD中最小盘的容量否则控制器可能不认它作为热备。比如VD里用了4块1.2TB盘热备盘就不能用600GB必须也是1.2TB或更大。有的维护人员觉得“挂了盘再换”来得及但真实场景里硬盘故障往往发生在凌晨等你第二天上班才看到告警RAID阵列可能已经降级跑了一宿。热备盘会自动顶替坏盘开始重建这是性价比极高的保险。如果后面发现热备盘指派错了可以在盘上选择“Remove Hot Spare”它就会恢复成普通空闲盘。2.4 保存配置并退出常见“配置丢失”的元凶配置完成后很多人直接在PERC BIOS界面按电源键关机然后开机发现VD不见了于是怀疑阵列卡坏了。其实PERC BIOS有一个“保存并退出”动作在菜单里选“Finish”或“Exit”系统会提示是否保存配置选保存并重新启动配置才会写入控制器的配置区。另外要提醒如果RAID卡处于HBA模式或盘是“Non-RAID”状态创建VD时可能报错“Physical disk is not capable of RAID”。这时可以先把物理盘改成“RAID capable”再创建VD。这个坑在R750xs上特别常见尤其是机器出厂时只做了简单的直通设置。保存配置后重启开机阶段RAID卡会扫描VD并显示类似“Virtual Disk 0: Optimal”的状态。看到Optimal说明阵列创建成功。如果显示Foreign或Degraded说明还残留外部配置或已有盘故障需要手动“Import Foreign Config”或排查故障盘。3. RAID 0/1/5/10到底怎么选不同业务场景的取舍逻辑3.1 四张表看懂四种级别的容量、性能与冗余很多朋友第一次配阵列都在纠结选RAID 0、1、5还是10。我把几个关键差异直接列成表格RAID级别最少盘数可用容量冗余能力随机写性能读性能RAID 01块n×S无最强写惩罚1最强RAID 12块S1块盘故障可读一般写惩罚2好RAID 53块(n-1)×S允许1块盘故障较差写惩罚4好RAID 104块偶数(n/2)×S每组镜像允许1块盘故障较好写惩罚2好这里S表示单块盘容量n表示盘数。比如4块1.2TB盘做RAID 10可用容量就是2.4TB做RAID 5可用容量就是3.6TB。RAID 0虽然容量和性能最好但没有冗余任何一块盘挂了整个VD直接废掉生产环境尽量别用。3.2 为什么我建议R750xs推荐配置里优先考虑RAID 10如果盘数够比如8盘位机器你准备用6块盘做数据盘我建议优先选RAID 10而不是RAID 5。原因有三个RAID 10的写惩罚只有2RAID 5是4对随机写入密集的数据库、虚拟机磁盘来说RAID 10的延迟表现更稳定RAID 10重建速度快因为重建时只需要在坏盘所在的镜像组内复制数据RAID 5却要读全部数据盘才能算出校验重建RAID 10最多允许每组镜像各坏一块盘不同组而RAID 5只允许坏一块盘坏第二块就直接全挂。R750xs经常被用来跑虚拟化、中型数据库或业务系统RAID 10虽然可用容量只有一半但换来的是故障恢复的余地和平稳的IO性能。预算紧张时也可以系统盘RAID 1、数据盘RAID 5愿意冒一点风险换来更大容量。但任何情况下日志盘和数据库文件盘我都不建议RAID 5。3.3 冷知识RAID 5在入门级阵列卡上的写惩罚为什么说RAID 5随机写性能差简单算一笔账。RAID 5每次写一个数据块控制器要先从原始数据盘和校验盘读旧数据再计算新校验最后写回数据块和校验块整个过程会产生多次物理IO。对机械盘这种寻道慢的设备写惩罚被放大得特别明显。虽然H755有2GB缓存在Write Back模式下能掩盖一部分延迟但缓存刷写压力依然存在。我做过一个实际对比测试同一台R750xs8块SAS 10K 1.2TB盘分别做RAID 5和RAID 10用fio跑4K随机写。RAID 10的IOPS大概是RAID 5的1.8到2倍左右延迟也低一个量级。所以如果你纠结业务性能优先考虑RAID 10省得后面加盘迁移数据更痛苦。3.4 按实际盘数和容量需求反推盘位规划在创建阵列之前先按盘位数设计和容量需求规划好VD拆分。我经常给客户的方案4盘位机器两块盘做RAID 1当系统盘另外两块做RAID 1或RAID 0当数据盘。如果总共就4块2TB盘可以两组RAID 1可用容量4TB性能和冗余都不错。8盘位机器两块盘RAID 1装系统剩余六块盘做RAID 10或RAID 5。想更稳就六块前四块做RAID 10后两块做热备盘。12盘位机器可以拆两个RAID 10一个给数据库一个给文件存储也可以系统盘RAID 1后其余盘做两个RAID 5分开用减少故障影响域。盘序规划的时候尽量把同一VD的盘分布在不同的背板链路或不同的插槽组上。虽然R750xs背板一般只有一条或两条链路但至少别把同一VD的盘全挤在一个物理背板供电区里降低同时掉电风险。4. 从阵列到系统驱动注入和安装避坑全流程4.1 在系统安装前先用iDRAC把阵列固件和驱动准备好阵列配置完成后下一步就是装系统了。很多人在这里卡住——系统安装界面里根本看不到刚创建的虚拟磁盘。原因多半是缺少PERC RAID控制器驱动。在R750xs上Windows和VMware安装都需要合适的驱动。提前打开iDRAC管理页面默认管理口地址常见是192.168.0.120新的R750xs出厂也许不是这个具体看机身标签。登录iDRAC后先去“Storage”页面看控制器型号和固件版本然后到Dell官方支持网站搜“PowerEdge R750xs”进入“驱动与下载”选择对应操作系统下载PERC RAID控制器驱动。驱动包通常是一个exe或者zip命名格式常见类似“SAS-RAID_Driver_XXXXX_A00_ZPE.exe”。这里有个坑不要试图在系统安装时直接指向这个exe驱动文件需要先解压成包含.inf文件的目录才能被安装程序识别。4.2 给Windows Server 2019/2022注入PERC驱动的两种方式装Windows Server时有两种省事方案。方案一使用Dell优化版Windows Server镜像。Dell官方会提供针对PowerEdge服务器的定制ISO里面预集成了PERC、网卡芯片组驱动安装时基本不会出现找不到磁盘的情况。缺点是镜像版本更新没那么快适合不爱折腾的人。方案二使用标准微软ISO安装界面出现“找不到可用驱动器”时点击“加载驱动程序”浏览到U盘或虚拟介质里解压好的驱动文件夹。系统会自动识别PERC卡然后显示虚拟磁盘。注意驱动文件夹路径不要有中文确认下载的是对应系统版本的驱动比如Windows Server 2019和2022不能混用U盘建议用FAT32分区NTFS在部分服务器UEFI环境下可能不识别。4.3 VMware ESXi 8.0安装时识别不到阵列怎么办这几年很多人想在R730、R750xs这类Dell服务器上装VMware ESXi 8.0最常见的报错就是“No compatible storage adapter found”之类或者安装界面只有一个本地USB盘看不到阵列VD。原因和Windows一样基础ESXi镜像里没有包含新的PERC驱动。解决思路有三个最省事下载Dell定制版ESXi镜像里面已经集成了Dell存储驱动、网卡驱动和管理插件安装时直接就能看到阵列如果已经用标准镜像启动可以在安装界面按AltF1打开shell把驱动离线包vib格式上传到临时目录执行类似esxcli software vib install -d /vmfs/volumes/xxx/offline-bundle.zip的命令再回到安装界面刷新存储适配器如果只是想快速建测试环境也可以先把驱动器模式改成AHCI但这样会丢掉RAID冗余特性生产环境别这么干。顺带一提网上常有人问“R730服务器安装vmware esxi 8.0”其实流程和R750xs大同小异。核心就是确认PERC驱动版本和ESXi版本兼容Dell定制版最稳妥。4.4 虚拟介质挂载ISO与驱动下载文件格式的选择给服务器装系统不建议每次都插U盘尤其远程服务器根本碰不到本机。利用iDRAC的“虚拟介质”功能可以直接把ISO、驱动ISO挂载到服务器上就像插了一个虚拟光驱和虚拟U盘。我的习惯做法是系统ISO直接挂载为虚拟光驱驱动物理文件解压后再打包成一个驱动ISO或放在另一个USB虚拟介质里系统安装时先引导到系统ISO走到“加载驱动”步骤时再挂载驱动ISO。这样即使人在外地能远程进iDRAC也能完成整套系统安装。要提醒的是挂载期间尽量别断网或关掉iDRAC会话否则虚拟介质可能会断开导致安装失败。5. 阵列创建成功不等于完事验证、监控与后续维护5.1 重启后如何确认虚拟磁盘状态健康阵列配好并装完系统后第一件事就是确认状态不是“假健康”。进PERC BIOS看Virtual Disk的状态应该是Optimal也就是正常。用iDRAC页面看也一样。如果是Degraded说明有一块盘已经掉了或者正在重建。命令行下也可以用工具查看前提是装了Dell OpenManage Server AdministratorOMSA或iDRAC工具。常用命令racadm raid get vdisks racadm raid get pdisks还可以用OMSAomreport storage vdisk重点关注VD状态的数字标志比如“State: Optimal”还是“State: Rebuilding”。另外注意看“Foreign Config”是不是存在如果有外部配置最好导入或清除别让它干扰日常启动。5.2 阵列读写速度的实测方法阵列建完以后很多人会问“速度正不正常”与其猜不如直接测。Windows环境下我一般用CrystalDiskMark简单直观连续读写和4K随机读写都能测出来。Linux服务器上用fio更标准比如fio --nameraid_test --rwrandrw --bs4k --size10G --numjobs4 --runtime60 --time_based --group_reporting测试时注意几点测试文件要放在新建VD的独立分区上不要拿系统盘去测避免IO互相影响测试前确认控制器Write Back策略已生效否则连续写性能会很难看机械盘RAID 10连续读写跑到500MB/s左右算正常SSD组RAID 10连续读写经常可以突破1GB/s具体取决于卡和盘。实际测出来的数据如果远低于预期先检查有没有盘掉线、背板链路是否协商成6Gb/s而不是12Gb/s而不是急着怪RAID级别没选对。5.3 硬盘更换RAID 5/10下换盘会不会自动重建这个问题几乎每次做阵列培训都会被问到。答案是会但有一个前提——要么你提前配置了热备盘要么故障发生后及时插入新盘。只要你插的新盘容量和接口匹配控制器会自动识别并把新盘纳入阵列开始重建。换盘步骤确定故障盘物理位置看机箱硬盘故障灯或iDRAC报警信息如果是支持热插拔的背板直接退盘位卡扣抽出故障盘插入同型号或至少同容量、同协议SAS/SATA的新盘等待系统识别在PERC BIOS或iDRAC里查看重建进度通常会有百分比显示。重建期间尽量保持服务器稳定不要重启不要拔其他盘。RAID 10遇到坏盘重建时主要压力只在那组镜像的两块盘之间速度比RAID 5快很多。RAID 5重建时要读所有数据盘时间长期间再坏第二块盘就彻底凉了这也是我反复推荐RAID 10的原因之一。5.4 iDRAC告警与OpenManage的日常巡检日常巡检最实用的工具就是iDRAC。在iDRAC设置里配置告警邮箱或SNMP trap当阵列状态变化、硬盘SMART告警、控制器电池异常时第一时间收到通知。我自己的习惯是每周看一眼存储页面每月导出一份PERC控制器日志存档。装了OMSA之后还可以在操作系统里定时跑巡检脚本把VD状态、PD状态、控制器温度都收集起来。别小看这些“看门”动作很多时候盘在彻底故障前都会有提前报警早换一块盘几十秒晚换就要面对整阵列重建甚至数据恢复的窘境。6. 这一路踩过的坑和最后一轮经验总结6.1 最常见的三个RAID配置错误聊了这么多最后总结几个我见过最多的“翻车现场”。第一个错误新机器到手不创建VD直接装系统。操作系统安装界面看不到硬盘还以为是服务器硬盘故障其实是PERC卡上根本没有任何逻辑盘。得先创建好VD。第二个错误把不同容量、不同转速的硬盘混在一个阵列里。RAID阵列容量按最小盘计算例4块盘中一块600GB和三块1.2TB混用整组只能按600GB算白白浪费3块盘空间。混转速还会导致整个VD按照最慢盘的性能跑得不偿失。第三个错误配了RAID 5就高枕无忧不做热备盘、不看告警。RAID 5只允许坏一块盘坏第二块前如果没来得及重建完数据就没了。我见过几起RAID 5重建期间再坏盘的事故真到那一步只能找数据恢复公司费用足够再买一台服务器。6.2 背板线缆与8643接口方向物理层问题最难查前面提到过8643线缆接错导致盘识别不到的情况这里再展开细说。SFF-8643接口在R750xs背板和RAID卡上都有应用看起来相似但有的线缆是CPU面向背板有的是反接。一旦插反最典型的现象是某一块或某几块盘在PERC BIOS物理盘列表里“消失”。排查链路要按物理层、链路层、控制器层三步走物理层断电后重新插拔所有8643线缆确认卡扣锁紧没有歪针链路层开机看RAID卡的端口指示灯每个端口对应一组背板盘位活动盘会有闪烁控制器层用racadm raid get pdisks查看盘枚举顺序和物理位置是否对应。如果实在查不出来可以把所有盘全部拔掉只留一块盘从盘位0开始逐一尝试这样能快速锁定是背板端口坏还是线缆接错。这个方法我在现场排查时效率很高。6.3 关于固件升级与降级保护的个人建议新买的R750xs建议先到官网看下PERC控制器固件和背板固件是否有更新。不少早期固件在特定硬盘组合下会出现随机掉盘或重建卡住的Bug升级后能解决。但升级固件要稳不要追最新版选官方当前推荐的“Mainstream Maintenance”版本就行。这里还有一个很多人会踩的坑Dell的固件有降级保护机制当你想刷回旧固件时BIOS或iDRAC会直接提示类似“blocked due to unsupported downgrade”。这时候不用慌进入Lifecycle Controller的“Firmware Rollback”或者iDRAC里的“Rollback”功能通常能回滚到上一个版本。如果你手工强行刷旧包大概率会被拒。我的建议是固件升级前先导出当前配置和固件版本升级后至少观察一个星期确认阵列稳定再大规模上业务。6.4 最后分享一个“配置前先拍照”的小习惯从我个人的经验来说做服务器阵列配置最划算的一个习惯就是“先拍照”。进入PERC BIOS之前把当前所有物理盘的健康状态、VD配置、启动顺序都拍下来或者截图存到运维记录里创建VD后再拍一张最终配置图标注好每块盘对应的盘位。这个习惯在远程维护时帮了我很多次。比如客户在机房说“服务器报警了”我直接翻出之前照片里的盘序列号和盘位图远程一步步告诉他拆哪块盘、换哪块盘比临时翻文档高效得多。阵列配置其实不难但每一次“我以为我记得”都可能变成一次凌晨加班。拍照、记录、确认动作虽小后面省的事可不少。
返回列表