# PVE集群升级
Table of Contents
过去半年,零零散散修改或者升级了集群的各个配置。也算告一段落,做个记录。
物理机
主要针对虚拟机 / 容器负载变化和降低功耗升级了集群的硬件。现在连带 PoE 交换机和所有节点,功耗维持在 300W 左右。
第一台(E)
- 处理器: AMD EPYC 7532
- 内存: 4 * 16GB
- 硬盘: Intel P4510 4TB + KIOXIA SD10 1TB + WD Red Pro 4T
唯一一台没做任何改动的机器。现在的配置还相当够用,等机械硬盘降价直接加盘即可。
第二台(F)
- 处理器: AMD Ryzen 3700x
- 内存: 3 * 16GB
- 硬盘: Samsung 970 EVO Plus 500G + 大普微海神3000 1TB + 美光 MX500 500G + WD HC320 8TB
老三样是没换,不过显卡由原来的纯纯 NAS 编解码卡 1050ti 换成了魔改 A3000 laptop,在功耗变化不大的情况下性能好上很多,12G 的显存也能够略微研究一下小模型。
同时把原本在 H 节点的 WinServer 虚拟机移到 F 节点上,性能和功耗都要好一些。
美中不足的是,这个节点的 zen2 处理器有些拖后腿,消费级平台槽位也不够装高速网卡,只能用板载 2.5G 电口联网。
第三台(H)
- 处理器: AMD EPYC 7D12
- 内存: 2 * 16GB
- 硬盘: Intel Optane M10 16G
变更最大的一台。实在苦 E5 电老虎久矣,看到闲鱼有打包卖的板 U + riser 就火速购入了。超低频率的 7D12 打开 C6 关核,待机和轻负载省电太多,有编译升级的需求时也能很快拉上频率发挥多核心优势。挂上一些容器服务和 agent 长任务功耗都不及旧 E5 平台的一半,DDR4 内存效能也显著好于 DDR3,尽管 DDR4 涨价也是非常划算的升级。
集群
现在运行的是使用 Linux 7.0.14-12-pve 内核的 PVE 9.2.11。PVE 还是一如既往稳定可靠,最近的数个版本移植内核的策略更为激进,也深度优化了显卡直通,现在直通显卡直接用 WebUI 几分钟就搞定了。新版 OpenZFS 改善了 ARC 缓存,在我 8T 的存储池上只需要略多于 6GB 的内存 ARC 就能提高不少虚拟机 IO(当然还是不如本地 SSD 的)。
虚拟机方面,移除了几个用不到的,针对以往的统计数据重新做了资源分配,不过虚拟机本身操作系统都没有变化,只是照常升级软件简单维护了。下一步可能会将功能略有缺失的 Alpine 和过时的 Debian12 虚拟机 / 容器切换到红帽系以改善性能,具体还有待评估。
实际上对于 HCI 集群 Harvester 可能更好,有感兴趣的读者朋友可以尝试一下。可惜 Harvester 节点配置要求较高,而我集群里容器不多且功能固定不用特别编排,让我不太有动力切换。不需要经常编排且虚拟机占比较大的用 PVE 还是很合适的,也是见仁见智、看具体取舍吧。