PVE 双宿主机落地实录:网络平面隔离、ZFS 容量陷阱、vGPU 切分与推理延迟实测


公司机房的虚拟化底座是两台 PVE 宿主机:一台老一些,单张 L40S,跑身份服务和桌面;一台新一些,八张 RTX PRO 6000,跑推理。两台机器版本要对齐、GPU 要给研发切着用、容量要在告警前看见,事情就多了。这篇按网络、存储、模板、GPU、调优的顺序记,重点放在配置要求和实测数据上,包括三轮优化里那轮没有收益的绑核实验。

文中所有地址、主机名、序列号、凭据、内部产品名都删掉了,配置片段里用占位符。毫秒级延迟数字全部是离线模型层的实测值,不含相机采集到机器人执行的链路,这一点在下面会反复提醒。

两台机器的基线

项目 宿主 A 宿主 B
机型 浪潮 NF5280M7 超聚变 G5500 V7
CPU Xeon Gold 6548Y+(128 逻辑核) 2× Xeon Gold 6530,每颗 32C/64T,共 128 线程
NUMA 素材未逐项记录 node0 = 0-31,64-95;node1 = 32-63,96-127
内存 503 GiB 可用 512 GB(4×128 GB DDR5-5600,32 槽只插 4 条,OS 可见约 503 GiB)
GPU 1× L40S 48G 8× RTX PRO 6000 Blackwell Server Edition,各 96 GiB
网卡 素材未记录型号,4 口参与两组 bond 2× Intel E810(ice 驱动),共 8 口,只用 4 口
数据盘 RAID 卡呈现的 7T 逻辑卷 2× 3.84T 裸 NVMe
PVE 9.2.18,内核 6.14.11-9-pve 装机 9.2.2 升到 9.2.21,内核对齐 6.14.11-9-pve

新机器交付完,第一批动手的事很清楚:企业源无订阅必然 401,先切 no-subscription;intel_iommu=on iommu=pt 写进 GRUB(直通和 vGPU 都靠它);黑名单 nouveau——顺带一个坑,Blackwell 上 nouveau 绑定直接报 unknown chipset,说明这代卡开源驱动完全不认,装闭源前必须黑名单,否则驱动装了不生效;chrony 加时区;运维公钥注入后关掉密码登录;接口按 pinning 钉成 nic0…nic7 而不是留 enp34s0f0 这种名字。

最后一条看起来是洁癖,实际是网络交接能写清楚的前提。PVE 的 pinning 让配置里出现的 nicN 是稳定的,否则每次内核或换卡后配置文件里全是需要人肉对应的物理名。

网络:先分平面,再谈冗余

两台机器用同一套惯例:管理与业务各自一组 LACP,各自上网桥;业务桥是 VLAN-aware 且故意不给 IPv4。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
auto guanli-lacp
iface guanli-lacp inet static
address <MGMT_IP>/24
gateway <MGMT_GW>
bond-mode 802.3ad
bond-slaves nic0 nic4
bond-miimon 100
bond-lacp-rate 1
bond-xmit-hash-policy layer3+4

auto vmbr-yewu
iface vmbr-yewu inet manual
bridge-ports yewu-lacp
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-4094

虚拟机一律挂在业务桥上打 tag:net0: virtio=…,bridge=vmbr-yewu,tag=130。

这套设计第一次接手时会被误判成故障:vmbr-yewu 上没有 IPv4,看起来”业务网不通”。它本来就不该有——VLAN-aware 桥负责转发 dot1q 帧,本机要上业务段得单独建子接口。把这当成 bug 去”修”,反而会搞乱 trunk。

几个必须记的坑:

  1. bond 起来之后,成员口的 ip link 地址被 bond 统一覆盖。 两台机器成员口的当前 MAC 是 bond 的,不是出厂的;认领”哪个物理口是哪根线”只能靠 permanent MAC 加 PCIe 总线号。重装系统后 bond MAC 会变,交换机上如果配了端口安全或静态 MAC 绑定,会直接失联。
  2. 交换机侧是 lacp-static 动态聚合时,单个口不协商就不转发。 PVE 安装器阶段还没有 bond,直连装机器可能整个拿不到 IP。要么在安装器里直接建 bond,要么临时在交换机侧退聚合,二选一,动手前必须先查交换机配置再定。
  3. bond-lacp-rate 和 bond-min-links 不在 PVE 的 API schema 里,图形界面不显示,只能手写 /etc/network/interfaces。手写就有粘贴事故:一台机器的管理 bond 配置里混进一行 2.18 脏内容,把整条 bond-lacp-rate 吞掉了,ifreload 不报错,得靠 cat -A 加 ifreload -n -a 空跑才发现。修完在 sysfs 里读回 fast 1 才算过。
  4. 哈希策略不能照抄另一台。 这是生产实测出来的:layer2 只按源目的 MAC 哈希,网关 MAC 唯一,结果第二条 10G 链路发送方向只跑了 0.4MB(另一口 5.6MB),近乎闲置,改成 layer3+4 之后两口都发包。但改完不是一劳永逸:现场读回的结果是管理 bond 为 layer3+4、业务 bond 仍是 layer2+3,两台机器也没统一成同一个值。官方桥接示例本来就是 layer2+3,所以这不算配错,我只把差异连同实测依据登记下来,等交换机侧哈希策略核对完再决定统一方向。
  5. bond 存在不等于聚合验收通过。 要看成员状态、churn、错误计数,还要看交换机侧。我们的上联是一对 M-LAG 双归交换机,宿主两个成员口都上联到同一台(早期)后来才是双交换机;lacp_rate=fast 与交换机侧 slow timeout 不一致至今没收敛;入方向流量比例受 M-LAG local-preference 影响,不能假定 50:50。另外 802.3ad 下一条 TCP 流永远只走一个口,想验证聚合得打多条不同五元组的流,看两个口发送计数一起涨。

MTU 全线 1500,没上 jumbo frame,存储网络是后面才单独规划的,没预留成功。

ZFS:那句”还剩 6TB 却建不了虚拟机”

这是本项目最重要的一课,值得单独一节。

当时同一分钟里,zfs list 显示池 used 6.13T / 89.4%,zpool list 显示 ALLOC 1.24T / 17%,两个数都真。它们在回答不同问题:ALLOC 是物理写入,zfs list 的 used 在根数据集层包含了子节点的预留承诺。PVE 建 ZFS 卷时默认带 refreservation,于是一个声明 500G 的盘就占住 508G 额度,而里面实际只写了 4.66G。全池算下来逻辑声明 5.79T 对物理写入 0.91T,放大 6.3 倍。表现出来就是”明明还剩 6TB,pvesm status 只给 788G 可用,新虚拟机建不了”。

处置动作和口径:

  • 新盘默认精简置备(sparse=1)生效;
  • 逐卷核查,60 个卷里 56 个的非零预留清零;可分配空间从 943 GiB(13.4%)回到 5.59 TiB(81.5%),未使用预留 4.67 TiB 归零;
  • 明确写进验收记录:这是解除容量承诺,不是清出 4.67T 真实数据,后续写入仍能把池写满;
  • 补容量告警阈值:可分配低于 20% 或 200 GiB 预警,低于 10% 或 100 GiB 严重;物理占用 80%/90% 各一档;探针采集失败或 5 分钟无数据本身也告警;
  • 加建盘/扩盘前的只读容量预检,留 20% 加 200 GiB 余量。诚实说明:这个预检依赖操作者主动执行,没有拦住网页、qm 和 API 三条路径,也不是原子准入。

精简置备要有判据,不能靠感觉。我们的验收是:分配 64 GiB 逻辑卷,空卷实际占用 57344 字节;在卷首卷尾各写 4 MiB 随机数据后实际 8.125 MiB;读回数据一致。恢复演练同样用实际占用说话——从 500 GiB 逻辑盘恢复出来的新机实际 6.562 GiB。

池参数基线(两台读回一致的部分):compression=lz4、atime=off、xattr=sa、ashift=12、autotrim=on、sync=standard、dedup=off,reservation 全部为 0。recordsize、volblocksize、ARC 上限这几项素材里没有明确记录,属于我没做成文档的债。

另一个坑属于”看架构就要冒冷汗”型:A 的数据池 DATA 只有一个 vdev,就是一块盘。但这块盘是硬件 RAID 卡呈现的逻辑卷,实际是 RAID-1(1+0)。也就是说 ZFS 以为自己在管单盘,真正的冗余在下面的 RAID 卡里,而 OS 层因为没装 arcconf/storcli 完全看不见 RAID 状态。最后的判据来自 sysfs:

1
cat /sys/block/sdb/device/raid_level   # RAID-1(1+0)

结论是:ZFS 看到一个逻辑设备,既不能推断底层只有一块物理盘,也不能因为”有 RAID 卡”就认定冗余可靠,要逐层核。B 走了相反路线:两块裸 NVMe 不做 RAID,用 OpenZFS 原生 split 拆成 DATA/DATA2 两个单盘池,故障域各自独立——代价是任何一块盘坏掉,那一半数据没有副本。

顺带两个备份教训:早期备份目录 DATA-BACKUP 是数据池里的一个 dataset,数据和备份同故障域,这个 8 月就判为 P0 的问题拖到后面才把周期备份迁去 NAS;以及对象覆盖不等于磁盘全覆盖,被显式排除的独立数据盘要另做保护。

启动编排:固定等待不是健康检查

PVE 的 startup/shutdown 参数语义值得从源码层面讲清(读的是 9.2.18 的 PVE/API2/Nodes.pm):

  • order 升序启动、降序关机;没设 order 等于 LONG_MAX,也就是最后启动、最先被强杀;
  • up 是这台启动后的固定 sleep,不是健康检查,省略时 qemu 默认 3 秒、lxc 是 0 秒;同一个 order 组里如果多台都设 up,等待会被台数放大成 N×up;
  • down 是优雅关机超时上限,超时直接强制停止。

技巧是同组内只给 vmid 最大的那台设较大 up,组间等待才等于 up。按这个规则把服务分成七组:GPU 授权服务最先起最后关,其次域服务和接入隧道,再堡垒机与证书,再桌面底座,最后推理机(最后起最先关)。修掉的实际问题包括:推理机早于授权服务启动、证书服务与域控同组并行、桌面底座没设 order 导致关机时第一个被强杀、up 误用累计了 270 秒。

必须如实说:这套编排没有实机验证过。pvestartall/stopall 会动整台机器十几台虚拟机,不敢拿来试,所以那张时刻表是纯推算。节点级 startall-onboot-delay 建议设 30 秒让 ZFS 导入和网桥先就绪,也没落地。

cloud-init:三个对象不是一件事

模板做法本身没什么神秘:从备份恢复出模板,系统盘精简置备,种子盘用 scsi1 …,media=cdrom,size=4M,agent: 1、ciupgrade: 0、OVMF 加 EFI 盘,网卡稳定命名 eth0,datasource 限到 NoCloud/ConfigDrive。真正值得写的是三条纪律。

第一,PVE 配置、cloud-init 种子盘、来宾内状态是三个对象。 在页面上改了 ipconfig0 不证明运行中的来宾应用了,必须重新生成种子镜像、在授权窗口重启来宾,然后分别核这三层。我们把这条写成了检查工具的判据,工具同时读这三处。

第二,cloud-init clean 是模板动作,不是生产动作。 它会清 machine-id、seed 和网络状态,下一启动可能重跑初始化。生产虚拟机上跑一次,等于赌运气。模板清理清单固定为:去掉 cloud-init.disabled、删装机遗留的网络配置、删旧 machine-id 与旧 SSH 主机密钥、清 root 的历史 authorized_keys。

第三,克隆完要逐项验身份。 我们的判据是 11 项:主机名、静态 IP、datasource 正确、cloud-init done、无致命错误、无禁用标记、instance-id 已更新、公钥已注入、主机密钥已重新生成、QGA 通、没有偷带生产的默认路由。两个克隆的 machine-id 和主机密钥必须不同——这一条漏掉,两个机器同时向监控和认证系统报同一个身份,事故排查会非常费劲。

踩过的具体坑:nameserver 用逗号分隔会导致 DNS 静默失效(要分号);配了 ipconfig0 但没有种子盘是彻底死配置;来宾缺 resolvconf 时解析接管要单独处理;手工的 01-lan 与生成的 50-cloud-init 会重复定义同一张网卡。还有个至今没修的告警:PVE 的生成器用了已弃用的 user 标量格式,来宾 extended_status 一直是 degraded done、退出码 2,不影响功能,但我们没有靠屏蔽告警把它”变没”。

Windows 来宾不吃 cloud-init,走 ISO 加 virtio 路线,验收退化成以 QGA 三层核对为准。

GPU:L40S 走 mdev,八卡机走 SR-IOV

两台机器的 vGPU 路线不一样,这是最容易抄错的地方。

宿主 A 的 L40S 是 mdev 分片路线,虚拟机配置形如 hostpci0: 0000:b1:00.4,mdev=nvidia-1153。宿主 B 的 RTX PRO 6000 Server Edition 每卡 48 个 VF,走 SR-IOV 加 vGPU Manager,profile 编号由本机实际枚举。nvidia-NNNN 这个数字既不能跨代卡抄,也不能跨 profile 抄——同一张 L40S 上 nvidia-1153 和 nvidia-1156 是两个不同显存档位的类型,八卡机上的 nvidia-1534(普通 24Q)和 nvidia-1561(MIG 派生 24Q)更是两回事。判据只有一个:在本机枚举结果里对号,别信任何文档或聊天记录里的常量。

主机侧组件与顺序:

  • vGPU Manager 与来宾驱动版本配对(我们锁在 R580:宿主 580.65.05、来宾 580.65.06),DKMS 随内核构建;
  • pve-nvidia-vgpu-helper 加 pve-nvidia-sriov@<PCI>.service 负责开 VF;nvidia-vgpu-mgr 必须常驻,nvidia-vgpud 是 oneshot,待机时 dead 是正常的,判活要看 enabled、Result 和退出码;
  • 混合规格(heterogeneous/mixed-size)要在开机自动拉虚拟机之前打开。我们写了个自研 unit,Requires/After 八个 SR-IOV 实例与 vGPU Manager、Before=pve-guests.service,执行前校验八卡空闲且 VF 就绪,可重复运行。不做这一步的结果是重启后只有第一张卡能按预期切分。

最凶的一条风险是内核与 DKMS。 宿主的 nvidia DKMS 只为 6.14.11-9-pve 构建过,7.0.14 内核装好了但没有对应的模块编译记录,唯一防线是 GRUB_DEFAULT 硬锁。任何 update-grub 或改默认内核之前必须先核 DKMS,否则一次重启,所有依赖 vGPU 的虚拟机全废。这个约束在巡检清单里单列。

顺带:nvidia-smi vgpu 的并发验收可以做——八卡同时各分配 4Q+8Q+16Q 三块,两组组合都 8/8 过,nvidia-smi vgpu 能同时列出每卡三个 profile 和不同 placement。但那种”无系统盘、无网卡”的验证虚拟机里 Guest Driver 和 License 显示 N/A,不能算客户机 CUDA 或许可验收,客户机侧要另开一台真机跑。

切分口径:96Q、24Q 和 MIG 是三件事

这一段专门澄清,因为口头上很容易说错,说错了沟通成本很高。

RTX PRO 6000 Blackwell 上的 profile 是 vGPU profile,显存档位固定:

profile 显存 单卡最大实例
DC-96Q 98304 MiB(整卡) 1
DC-48Q 49152 MiB 2
DC-32Q 32768 MiB 3
DC-24Q 24576 MiB 4

普通 DC-24Q 不是 MIG。 它固定的是显存档位,计算单元靠时间片调度共享。真正的 MIG 分区在 profile 名里带 DC-1-*(我们用的是 DC-1-24Q,对应 MIG 的 1g.24gb+gfx,GPU Instance Profile ID 47,驱动枚举给出 46 个 SM、可用 23.12 GiB),这类 profile 才是 MIG 派生的 vGPU。日常沟通里”用 MIG 切了一卡四”这种说法我听过太多次,普通 24Q 不要叫 MIG,两者的运维动作和故障面完全不同。

另一件容易搞错的事:MIG 支持是按 SKU 给的,不是”计算能力够就有”。 L40S 是 Ada、计算能力 8.9,不在官方 MIG 支持列表里;RTX PRO 6000 Blackwell Server Edition 在。所以八卡机上我们才既能用 vGPU 时间片、也能用 MIG,而 L40S 只有 vGPU。顺带一句,只有 Server Edition 支持 vGPU,Workstation 和 Max-Q 版本不支持,买卡时这是个真金白银的差别。

最后一条是观念上的:密度不等于性能。驱动列出四个实例的能力,不代表低延迟达标,没有受控并发数据之前不许把单实例吞吐乘四。而且五个 24Q 塞不进一张 96 GiB 的卡,四个是上限。

边缘推理机 601-608:负载画像

研发那批边缘推理虚拟机是这样长出来的。601 是原实例,602-604 是从它完整克隆出来的三台(不是链接克隆,origin 为空、refreservation=0),每台 8 vCPU、200 GiB 系统盘、各一张 DC-96Q,来宾驱动与许可正常,跑 PyTorch 2.7.1 加 CUDA 12.8。内存从 16 GiB 起步,后来扩到 32 GiB——起因不是容量不够,而是 VFIO 锁页撞上节点本地内存不足,触发大页整理之后连带把同池另一台一起带挂过一次。

605 是从 601 完整克隆、显存来自八卡机最后一张 VF(那张卡原本是另一台虚拟机在用,10 月移交过来)。606-608 先建成无 GPU 的测试克隆,500 GiB 精简根盘在来宾内做空闲块回收后实际约 56 GiB 一台,三台合计约 168 GiB(不是三个 500 GiB 厚制)。之后这张卡经历了两个阶段:先切成四个普通 24Q 给四台共用,验不过再换成四个 MIG 硬分区。四台最终规格都是 16 vCPU、32 GiB、balloon 关闭。这条演进链要记清楚——“无 GPU 克隆”和”普通 24Q”都只是中间状态,不是交付规格,交接时按最后读回的清单说。

克隆过程的坑很实在:

  • 新副本首次开机时虚拟网卡是断开的,先把身份处理干净、关机、再启用新 IP 上线。全程不动源机。
  • 首次克隆的实例准备阶段,SSH 配置测试因为 socket 激活的 sshd 还没创建 /run/sshd 而退出。定位后只在新副本上建标准运行目录,后续几台用修正后的脚本。
  • cloud-init 有一次把验收挡住了:为了让新副本沿用来宾现用口令,去掉了继承的初始化密码,结果 cloud-init 直接锁了 root。当时立即中止,没有继续复制这个坏副本;只在新副本上校验钥匙串里的现用值与原账户匹配,在内存里转成 SHA-512-crypt 写进原生登录种子,明文口令不变、不落脚本和日志,重启复验通过后才让后续副本继承。

负载本身,是一个具身智能的视觉-语言-动作模型:BF16,三个相机输入(腕部 480×640、两路立体 540×960),148 维动作、50 步动作时域、4 步去噪、49 步实时分块 lookahead,推理每 32 步一次、对应 640 ms 节拍,执行窗口 8 步。模型层之外还有相机采集、RPC、动作平滑和机器人派发,那些这一段没有数据。

三轮延迟实测

第一轮:NUMA 本地性,有效

现象很典型:GPU 在 node0,但虚拟机 16 GiB 主内存有 99.98779% 落在 node1。跨节点访存跑推理,每次 kernel 都要穿 UPI。

改动只有 PVE 三个字段:

1
2
3
affinity: 0-31,64-95
numa: 1
numa0: cpus=0-7,16384,hostnodes=0,policy=bind

改完回读:主内存 bind:0,16 GiB 全在 node0;QEMU、8 个 vCPU 和已采集的辅助线程 CPU 允许范围都是 node0 的 0-31、64-95。

同一模型、同一批真实输入、同一参数,改前改后各两个独立加载轮次,每轮预热 8 次、有效 64 次,合并 128 个样本:

条件 mean P50 P95 P99 max
改前(合并) 202.24 200.92 210.59 223.74 265.93
改后(合并) 193.08 192.26 199.84 215.76 253.10

均值改善 9.16 ms(4.53%),P95 改善 10.75 ms(5.10%),两轮改后都低于两轮改前。追加 256 次稳态复验 mean 190.67、P95 193.48。

三条限制必须一起说:P99 不能宣布稳定收敛(改后仍见 253 ms 尖峰,改前也有 265 ms);这是顺序实验,没有反向复测,CPU 范围和内存本地性是一起改的,收益拆不开;带载采样里 CPU 活动均频四组都在 2689-2692 MHz、GPU SM 与温度功耗都没有系统性差异,所以没有证据说明收益来自频率或配额节流,就是访存路径。数值正确性方面,每轮三个检查点共 22200 个数值与基线最大绝对误差为 0,但这只覆盖固定离线输入。

第二轮:绑到固定物理核,没有收益

第一轮做的是”限制在 node0 的 CPU 池里”,vCPU 在池内仍会迁移(30 秒采样里改后两轮迁移约 85/78 次)。所以下一步很自然:把每个 vCPU 钉死到具体物理核。

结论是没赢。同一 QEMU 下 CPU 池与固定核交替四轮:固定核 mean 慢 0.5956 ms(0.3079%)、P95 慢 0.7167 ms;只有 P99 低 15.46 ms、max 低 66.75 ms,而样本量不足以支撑尾延迟结论。迁移次数按预期归零(对照组 81/80 次),但均值和 P95 都没换来东西。

所以这个配置没有固化,已回滚。 顺带澄清一个常被夸大的说法:来宾里 taskset -c 0-7 只约束这 8 个 vCPU,不证明独占物理核、不证明固定、也不证明没和其他 VM 共享 SMT 兄弟核。isolcpus、nohz_full、关 irqbalance 改 GPU 中断亲和这些我们都没做,属于未验证区域。

第三轮:普通 24Q 换 MIG 硬分区,并发下差距明显

这一轮的对象是共享同一张卡的四个实例。同一张卡先切成四个普通 DC-24Q(时间片共享),再切成四个 DC-1-24Q MIG 硬分区,来宾都是 16 vCPU、32 GiB。模型、权重、输入、线程契约完全冻结,换的只有切分方式。顺带又是口径那一套:同一块分区,驱动枚举说可用 23.12 GiB,CUDA 看到约 23.69 GiB,来宾 nvidia-smi 报 24576 MiB——三个数都真,各答各的问题。

MIG 后的四路结果,两种工况分开记,不混表(单位 ms,n 为有效样本):

工况 n/台 mean P95 最慢
四路连续调用 1024 114.749-115.946 116.891-118.874 125.532-136.905
每 640 ms 四路同步发起 768 120.366-126.917 125.780-148.167 176.553-193.202

同一套模型、同一工况下,普通 24Q 的四路均值是 204.4-204.8 ms(每台 508 到 510 个共窗样本)。换成分区之后掉到 115 ms 上下,四路同时跑的时候,硬分区把时间片排队整个消掉了,这才是 MIG 在这里的价值来源。更早做密度评估时的判断是”四个普通 24Q 可创建,不等于四路还保得住卡级延迟”,据此拒绝过准入;这轮实测把那条判断坐实了,也正是它促成了切分方式的更换。

同步发起那一组还留了个反例,我起初把它读成了第一轮结论的延续,对着逐台数据重算才发现读反了。四台按 CPU 池分两类:605/606 在 node1(和卡同侧),内存跨两节点交错;607/608 在 node0(跨节点访问那张卡),内存 bind 在 node0。实测均值是 607 120.4、606 121.2、605 121.3、608 126.9 ms,608 的 P95 148.2 ms,另外三台 125.8-128.6 ms。跨节点那一类的组内均值确实高 2.4 ms,但同一绑法内部差了 6.5 ms,比两类之间的差距大一倍多,而且最快和最慢都出自跨节点那一类。这点信号撑不起”复现”两个字,我只把它记成方向一致、量级不可信。同一天的另一轮复验(四台各 512 个节拍样本,合计 2048)排序一样:607 最快 119.75、608 最慢 122.86,整体均值 119.8-122.9、P95 124.2-145.4,全部低于 200 ms。

所以这一轮我能说出口的只有两件事:硬分区把 204 ms 的时间片排队整个消掉,这个换机器换切分都复现了;剩下那几毫秒的分布解释不了。这批机器的内存策略、CPU 池和切分方式在同一个窗口里连着改过,变量没拆干净,608 那个 193.2 ms 的尾点到现在也没有归因。第一轮那次”搬内存”的收益同理——内存本地性和 CPU 范围是一起改的,我一直没敢单独归功给谁,这第三批数据更像是把它往反方向拽了一下。

接下来这套别和上面混:同一个 MIG 布局,换成抓球模型(四摄像头输入、无 CUDA Graph)跑真实节拍,四路并发按 640 ms 提交,3760 次节拍调用里超过 640 ms 的 0 次;节拍延迟 mean 206.5-210.4 ms,max 287.6-307.8 ms;连续 300 秒口径 mean 199.9-203.0 ms,共 9710 次有效调用。峰值显存 5.28 GiB(预留 5.40),worker 最大常驻集 16.28 GiB。

这组数字跟普通 24Q 的 204 ms 挨在一起,纯属巧合,不是同一套模型,不能拿来当 MIG 的对照基线。同理,那台独享 96Q 的生产机历史上 104.86 ms 是动态业务日志、没有同条件的权重哈希,只能当参考,不能签”非劣”。要拿 MIG 去替代独卡,得在自己的模型和输入上重测。

还有一条容易被忽略的代价:从普通 24Q 换成 MIG,原始动作张量在可比点上的最大绝对差是 0.015625。这个量级算不算可接受的物理控制误差,得由研发按实际控制量和轨迹容差判,我这边只报数,不替它签字。

MIG 带来的新问题也有三条。来宾内 GPU 和显存利用率字段读不出来,读到 0 是”不可读”,不是”0% 利用率”,监控侧最终是按设备能力把这三类不支持的可选指标显式排除,而不是灌 0;MIG 下原生调度查询返回不适用;回退是复合动作,要清掉本轮建的 GPU/Compute 实例、关 MIG、恢复 Best Effort 调度和监控期望,缺一环就拒绝不完整回退。另外监控里写死 96Q 规格的项不更新会误报切分后的机器。

同机其他负载与硬件侧

八卡机也是大模型推理机,但这里的布局换过两版,别把历史当现状:裸金属阶段跑的是上下两个副本、按 NUMA 各摆一份、张量并行加专家并行各四卡;上 PVE 之后换模型,改成单卡多副本加数据并行,生成阶段不再跨卡做张量归约。到今年 11 月现场读回,这台机器上 GPU0-3 各一张 96Q 归四台边缘推理机,GPU4-6 三张 96Q 归大模型那台,GPU7 是四个 MIG 分区——八个索引全部有主,没有空闲卡可以”顺手切一块”。

GPU 空载时 PCIe 会掉到 Gen1,带载实测回到 Gen5×16,这个别当成故障。

考机结论里最反直觉的是功率墙:不要为了省电把功率上限从 600W 锁到 450W。 正序(冷到热)测出来 300W 最快,那是第一档吃到了冷机红利;反向重测推翻了这个结论。真正的因果是温度决定 SM 时钟、时钟决定吞吐——396.9 TFLOPS 对应 70.3°C/2165 MHz,337.6 对应 83.7°C/1849 MHz;而 450W 档两轮都最差,怀疑是功率墙与调频迟滞共振,机制没证明。峰值 87°C 会触发热慢降频,是这台机器的唯一短板;整机峰值输入 5544W,N+1 余量约 2.3 kW。

裸金属阶段还留了一条通用教训:换系统后 /data 的设备名从 nvme0n1 变成 nvme1n1,我们靠序列号和 UUID 交叉核对才确认挂载无误。配置文件里不要写设备名。 掉盘不卡 emergency 也值得一试:nofail 加 30 秒 systemd 挂载超时,配合实测 local-fs.target 对挂载单元只有 Wants= 弱依赖。

未闭环清单

事项 状态
启动编排 纯推算,未实机验证;startall-onboot-delay 未设
网络 两侧 LACP timeout 与哈希策略未统一;断腿/单交换机故障未做破坏性演练;未做万兆端到端吞吐基准
ZFS A 的逻辑额度治理只做了 partial;B 两个单盘池无副本,坏盘恢复未演练
高可用 双节点集群已 quorate,但没独立 QDevice、没 fencing 演练,HA 资源清单为空,两节点全挂即全停
在线迁移 测试机双向迁移成功,但有约 4 秒收包空档、ICMP 丢 0.498%;带 vGPU/直通的迁移边界未验,不写”应用零中断”
备份 每日 NAS 作业按清单排除了全部边缘推理机和大模型机,实际只覆盖一台;恢复演练只在隔离机做过,生产机未演练
vGPU MIG 冷启动持久性未验(恢复钩子只核了文件摘要,没执行冷启动);专业图形应用体验未验;MIG 组合未获官方支持矩阵认证
推理 真机端到端延迟未测;尾延迟尖峰未解决;四台评测入口已停用,未接回机器人;动作容差待研发验收
硬件 一处网卡驱动打过软件补丁,异常路径已修但原始器件级根因未定位;两次宕机现象相似,根因仍未定
绑核 结论来自 128 样本的尾部线索,未固化

小结

两台机器做完,留在脑子里的不是哪个参数调了多少,而是几条口径上的教训:

  • “还剩多少空间”必须先问是哪个口径,物理写入、可分配额度、声明容量、快照与预留是四个不同的数。
  • “bond 存在”不是冗余,”备份有文件”不是可恢复,”进程起来了”不是服务健康,”虚拟机 running”不是业务正常。每一句都要往前多走一步找判据。
  • 对齐不等于一致:两台机器可以同名同配置,底层一块是 RAID 逻辑卷、一块是裸盘。
  • 优化要有反例:绑核这一轮明确没赢,把它写出来比只写 NUMA 那一轮有用。
  • 解释不了的数据就标成解释不了。我在 MIG 那一轮差点把四台的均值差写成第一轮的延续,对着逐台数据重算才发现归因方向是反的——先有结论再找证据,比没有结论更容易出错。

所有毫秒数都是离线模型层的数字,相机采集、网络传输、动作平滑和机器人派发没有纳入测量。把这套配置搬到别的负载之前,请先按自己的并发、输入长度和节拍重测一遍。


文章作者: 李广明
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 李广明 !
评论
  目录