PVE集群管理器

在数据中心 → 集群下，单击创建集群。输入集群名称并从下拉列表中选择一个网络连接作为主集群网络（链接 0）。它默认为通过节点主机名解析的 IP。

从 Proxmox VE 6.2 开始，最多可以将 8 个回退链接添加到集群中。要添加冗余链接，请单击“添加”按钮，然后从相应字段中选择链接编号和 IP 地址。在 Proxmox VE 6.2 之前，要添加第二个链接作为后备，您可以选中高级复选框并选择其他网络接口（链接 1，另请参阅Corosync 冗余）。

通过ssh登录到第一个 Proxmox VE 节点并运行以下命令：

要检查新集群的状态，请使用：

可以在同一物理或逻辑网络中创建多个集群。在这种情况下，每个集群必须有一个唯一的名称，以避免集群通信堆栈中可能发生的冲突。此外，这有助于通过使集群清晰可辨来避免人类混淆。

虽然 corosync 集群的带宽要求相对较低，但数据包的延迟和每秒数据包 (PPS) 速率是限制因素。同一网络中的不同集群可以相互竞争这些资源，因此对于更大的集群使用单独的物理网络基础设施可能仍然有意义。

登录已有集群节点的Web界面。在“数据中心”→“集群”下，单击顶部的“加入信息”按钮。然后，单击“复制信息”按钮。或者，手动从信息字段复制字符串 。

接下来，登录要添加的节点上的Web界面。在数据中心 → 集群下，单击加入集群。使用您之前复制的加入信息文本填写 信息字段。加入集群所需的大部分设置都会自动填写。出于安全原因，必须手动输入集群密码。

单击加入按钮后，集群加入过程将立即开始。节点加入集群后，其当前节点证书将被集群证书颁发机构 (CA) 签名的证书替换。这意味着当前会话将在几秒钟后停止工作。然后，您可能需要强制重新加载 Web 界面并使用集群凭据再次登录。

现在您的节点应该在Datacenter → Cluster下可见。

通过ssh登录到要加入现有集群的节点。

对于IP-ADDRESS-CLUSTER，请使用现有集群节点的 IP 或主机名。建议使用 IP 地址（请参阅链接地址类型）。

要检查集群的状态，请使用：

如果您只想要所有节点的列表，请使用：

当向具有独立集群网络的集群添加节点时，需要使用link0参数来设置该网络上的节点地址：

如果要使用Kronosnet 传输层的内置冗余，还可以使用link1参数。

使用 GUI，您可以从 Cluster Join对话框中相应的Link X字段中选择正确的接口。

您还可以将节点从集群中分离出来，而无需从头开始重新安装。但从集群中删除节点后，它仍然可以访问任何共享存储。在开始从集群中删除节点之前必须解决此问题。Proxmox VE 集群无法与另一个集群共享完全相同的存储，因为存储锁定无法跨集群边界工作。此外，还可能导致VMID冲突。

建议您创建一个新的存储，其中只有您要分离的节点可以访问。这可以是 NFS 上的新导出或新的 Ceph 池，仅举几个例子。重要的是完全相同的存储不会被多个集群访问。设置此存储后，将所有数据和虚拟机从该节点移至该存储。然后您就可以将节点从集群中分离出来。

首先，停止节点上的 corosync 和 pve-cluster 服务：

以本地模式再次启动集群文件系统：

删除corosync配置文件：

您现在可以再次启动文件系统作为正常服务：

该节点现已与集群分离。您可以使用以下命令从集群的任何剩余节点中删除它：

如果该命令由于剩余节点中的仲裁丢失而失败，您可以将预期投票设置为 1 作为解决方法：

然后重复pvecm delnode命令。

现在切换回分离的节点并删除其上所有剩余的集群文件。这确保了该节点可以再次添加到另一个集群而不会出现问题。

由于其他节点的配置文件仍在集群文件系统中，您可能也需要清理它们。在绝对确保您拥有正确的节点名称后，您可以简单地从/etc/pve/nodes/NODENAME递归删除整个目录。

Proxmox VE集群堆栈需要所有节点之间的延迟低于5毫秒（LAN性能）的可靠网络才能稳定运行。虽然在节点数较少的设置中，延迟较高的网络可能会正常工作，但这并不能得到保证，并且在节点数超过 3 个且延迟超过 10 毫秒左右的情况下，这种情况不太可能发生。

其他成员不应大量使用网络，因为虽然 corosync 不使用太多带宽，但它对延迟抖动很敏感；理想情况下，corosync 在其自己的物理隔离网络上运行。特别是不要使用共享网络进行同步和存储（除非作为冗余配置中潜在的低优先级回退）。

在设置集群之前，最好检查网络是否适合该目的。为了保证集群网络中各节点之间能够相互连接，可以使用ping 工具测试节点之间的连通性。

如果启用了 Proxmox VE 防火墙，将自动生成 corosync 的接受规则 – 无需手动操作。

当创建没有任何参数的集群时，corosync集群网络通常与Web界面和虚拟机网络共享。根据您的设置，甚至存储流量也可能通过同一网络发送。建议更改这一点，因为 corosync 是一个时间关键的实时应用程序。

corosync 链接地址（为了向后兼容，在 corosync.conf中由ringX_addr表示）可以通过两种方式指定：

如果首选主机名，建议使用专门用于 corosync 的单独静态主机名。另外，请确保集群中的每个节点都可以正确解析所有主机名。

从 Proxmox VE 5.1 开始，虽然受支持，但主机名将在输入时解析。仅解析的 IP 会保存到配置中。

在早期版本上加入集群的节点可能仍使用corosync.conf中未解析的主机名。如上所述，用 IP 或单独的主机名替换它们可能是个好主意。

要将新链接添加到正在运行的配置，请首先检查如何 编辑 corosync.conf 文件。

然后，将新的ringX_addr添加到节点列表部分中的每个节点。确保您的X对于您添加到的每个节点都是相同的，并且对于每个节点来说都是唯一的。

最后，将一个新的界面（如下所示）添加到您的图腾 部分，将X替换为上面选择的链接号。

假设您添加了编号为 1 的链接，新的配置文件可能如下所示：

一旦您按照最后的步骤 编辑 corosync.conf 文件，新链接就会启用。不需要重新启动。您可以使用以下命令检查 corosync 是否加载了新链接：

通过暂时断开一个节点上的旧链接并确保其状态在断开连接时保持在线来测试新链接可能是一个好主意：

如果您看到健康的集群状态，则意味着您的新链接正在使用。

Corosync 仲裁设备 (QDevice) 是在每个集群节点上运行的守护进程。它根据外部运行的第三方仲裁者的决定，向集群的仲裁子系统提供配置数量的投票。它的主要用途是允许集群承受比标准仲裁规则允许的更多的节点故障。这可以安全地完成，因为外部设备可以看到所有节点，从而仅选择一组节点进行投票。仅当所述节点集在收到第三方投票后可以（再次）达到法定人数时，才会执行此操作。

目前，仅支持QDevice Net作为第三方仲裁器。这是一个守护进程，如果它可以通过网络到达分区成员，它会为集群分区提供投票。它在任何时候只会对集群的一个分区进行投票。它旨在支持多个集群，并且几乎无需配置和状态。新集群是动态处理的，运行 QDevice 的主机上不需要配置文件。

对外部主机的唯一要求是它需要对集群进行网络访问并具有可用的 corosync-qnetd 软件包。我们为基于 Debian 的主机提供了一个软件包，其他 Linux 发行版也应该通过各自的软件包管理器提供一个可用的软件包。

我们支持具有偶数个节点的集群的 QDevices，并建议将其用于 2 节点集群（如果它们应提供更高的可用性）。对于节点数为奇数的集群，我们目前不鼓励使用 QDevice。其原因是 QDevice 为每种集群类型提供的投票有所不同。偶数编号的集群可以获得一次额外投票，这只会提高可用性，因为如果 QDevice 本身发生故障，您将处于与根本没有 QDevice 相同的位置。

另一方面，对于奇数编号的集群大小，QDevice 提供 (N-1)票 — 其中N对应于集群节点数。这种替代行为是有道理的；如果它只多投一票，集群可能会陷入裂脑状态。该算法允许除一个（当然还有 QDevice 本身）之外的所有节点发生故障。然而，这样做有两个缺点：

如果您了解其缺点和影响，您可以自行决定是否要在奇数集群设置中使用此技术。

我们建议以非特权用户身份运行任何为 corosync-qdevice 提供投票的守护程序。Proxmox VE 和 Debian 提供了一个已配置为执行此操作的软件包。守护程序和集群之间的流量必须加密，以确保 QDevice 在 Proxmox VE 中安全集成。

首先，在外部服务器上安装corosync-qnetd软件包

以及所有集群节点上的corosync-qdevice包

完成此操作后，请确保集群中的所有节点都在线。

现在，您可以通过在 Proxmox VE 节点之一上运行以下命令来设置 QDevice：

集群中的 SSH 密钥将自动复制到 QDevice。

输入密码并成功完成所有步骤后，您将看到“完成”。您可以验证 QDevice 是否已设置：

编辑 corosync.conf 文件并不总是那么简单。每个集群节点上有两个，一个位于/etc/pve/corosync.conf中，另一个位于 /etc/corosync/corosync.conf中。编辑集群文件系统中的文件会将更改传播到本地文件系统，但反之则不然。

文件更改后，配置将自动更新。这意味着可以集成到正在运行的 corosync 中的更改将立即生效。因此，您应该始终制作副本并进行编辑，以避免在编辑时保存文件时触发意外的更改。

然后，使用您最喜欢的编辑器（例如nano或 vim.tiny ）打开配置文件，这些编辑器预安装在每个 Proxmox VE 节点上。

进行必要的更改后，创建当前工作配置文件的另一个副本。如果新配置无法应用或导致其他问题，这可用作备份。

然后用新的配置文件替换旧的配置文件：

您可以使用以下命令检查是否可以自动应用更改：

如果更改无法自动应用，您可能需要通过以下方式重新启动 corosync 服务：

如果出现错误，请检查下面的故障排除部分。

迁移类型定义迁移数据是否应通过加密（安全）通道或未加密（不安全）通道发送。将迁移类型设置为不安全意味着虚拟客户机的 RAM 内容也以未加密的方式传输，这可能会导致客户机内部关键数据（例如密码或加密密钥）的信息泄露。

因此，如果您无法完全控制网络并且无法保证没有人窃听，我们强烈建议您使用安全通道。

加密需要大量的计算能力，因此经常将此设置更改为不安全以实现更好的性能。对现代系统的影响较小，因为它们在硬件中实现了 AES 加密。在可以传输 10 Gbps 或更高速度的快速网络中，性能影响尤其明显。

默认情况下，Proxmox VE 使用发生集群通信的网络来发送迁移流量。这不是最佳的，因为敏感的集群流量可能会被中断，并且该网络可能没有节点上可用的最佳带宽。

设置迁移网络参数允许对所有迁移流量使用专用网络。除了内存之外，这还会影响离线迁移的存储流量。

迁移网络设置为使用 CIDR 表示法的网络。这样做的优点是您不必为每个节点设置单独的 IP 地址。Proxmox VE 可以从 CIDR 形式指定的网络中确定目标节点上的真实地址。为了实现这一点，必须指定网络，以便每个节点在各自的网络中只有一个 IP。