# PVE集群升级

Table of Contents

过去半年,零零散散修改或者升级了集群的各个配置。也算告一段落,做个记录。

物理机

主要针对虚拟机 / 容器负载变化和降低功耗升级了集群的硬件。现在连带 PoE 交换机和所有节点,功耗维持在 300W 左右。

第一台(E)

  • 处理器: AMD EPYC 7532
  • 内存: 4 * 16GB
  • 硬盘: Intel P4510 4TB + KIOXIA SD10 1TB + WD Red Pro 4T

唯一一台没做任何改动的机器。现在的配置还相当够用,等机械硬盘降价直接加盘即可。

第二台(F)

  • 处理器: AMD Ryzen 3700x
  • 内存: 3 * 16GB
  • 硬盘: Samsung 970 EVO Plus 500G + 大普微海神3000 1TB + 美光 MX500 500G + WD HC320 8TB

老三样是没换,不过显卡由原来的纯纯 NAS 编解码卡 1050ti 换成了魔改 A3000 laptop,在功耗变化不大的情况下性能好上很多,12G 的显存也能够略微研究一下小模型。

同时把原本在 H 节点的 WinServer 虚拟机移到 F 节点上,性能和功耗都要好一些。

美中不足的是,这个节点的 zen2 处理器有些拖后腿,消费级平台槽位也不够装高速网卡,只能用板载 2.5G 电口联网。

第三台(H)

  • 处理器: AMD EPYC 7D12
  • 内存: 2 * 16GB
  • 硬盘: Intel Optane M10 16G

变更最大的一台。实在苦 E5 电老虎久矣,看到闲鱼有打包卖的板 U + riser 就火速购入了。超低频率的 7D12 打开 C6 关核,待机和轻负载省电太多,有编译升级的需求时也能很快拉上频率发挥多核心优势。挂上一些容器服务和 agent 长任务功耗都不及旧 E5 平台的一半,DDR4 内存效能也显著好于 DDR3,尽管 DDR4 涨价也是非常划算的升级。

集群

现在运行的是使用 Linux 7.0.14-12-pve 内核的 PVE 9.2.11。PVE 还是一如既往稳定可靠,最近的数个版本移植内核的策略更为激进,也深度优化了显卡直通,现在直通显卡直接用 WebUI 几分钟就搞定了。新版 OpenZFS 改善了 ARC 缓存,在我 8T 的存储池上只需要略多于 6GB 的内存 ARC 就能提高不少虚拟机 IO(当然还是不如本地 SSD 的)。

虚拟机方面,移除了几个用不到的,针对以往的统计数据重新做了资源分配,不过虚拟机本身操作系统都没有变化,只是照常升级软件简单维护了。下一步可能会将功能略有缺失的 Alpine 和过时的 Debian12 虚拟机 / 容器切换到红帽系以改善性能,具体还有待评估。

实际上对于 HCI 集群 Harvester 可能更好,有感兴趣的读者朋友可以尝试一下。可惜 Harvester 节点配置要求较高,而我集群里容器不多且功能固定不用特别编排,让我不太有动力切换。不需要经常编排且虚拟机占比较大的用 PVE 还是很合适的,也是见仁见智、看具体取舍吧。

My avatar

Thanks for reading my blog post! Feel free to check out my other posts or contact me via the social links in the footer.


More Posts

Comments