ClusterShell：一個在集群節點上並行運行命令的好工具

知識 07-26

ClusterShell 是一個事件驅動的開源 Python 庫，旨在在伺服器場或大型 Linux 集群上並行運行本地或遠程命令。
-- Magesh Maruthamuthu（作者）

我們過去曾寫過兩篇如何並行地在多個遠程伺服器上運行命令的文章：並行 SSH（PSSH）和分散式 Shell（DSH）。今天，我們將討論相同類型的主題，但它允許我們在集群節點上執行相同的操作。你可能會想，我可以編寫一個小的 shell 腳本來實現這個目的，而不是安裝這些第三方軟體包。

當然，你是對的，如果要在十幾個遠程系統中運行一些命令，那麼你不需要使用它。但是，你的腳本需要一些時間來完成此任務，因為它是按順序運行的。想想你要是在一千多台伺服器上運行一些命令會是什麼樣子？在這種情況下，你的腳本用處不大。此外，完成任務需要很長時間。所以，要克服這種問題和情況，我們需要可以在遠程計算機上並行運行命令。

為此，我們需要在一個並行應用程序中使用它。我希望這個解釋可以解決你對並行實用程序的疑慮。

ClusterShell

ClusterShell 是一個事件驅動的開源 Python 庫，旨在在伺服器場或大型 Linux 集群上並行運行本地或遠程命令。（clush 即 ClusterShell ）。

它將處理在 HPC 集群上遇到的常見問題，例如在節點組上操作，使用優化過的執行演算法運行分散式命令，以及收集結果和合併相同的輸出，或檢索返回代碼。

ClusterShell 可以利用已安裝在系統上的現有遠程 shell 設施，如 SSH。

ClusterShell 的主要目標是通過為開發人員提供輕量級、但可擴展的 Python API 來改進高性能集群的管理。它還提供了 clush、clubak 和 cluset/nodeset 等方便的命令行工具，可以讓傳統的 shell 腳本利用這個庫的一些功能。

ClusterShell 是用 Python 編寫的，它需要 Python（v2.6+ 或 v3.4+）才能在你的系統上運行。

如何在 Linux 上安裝 ClusterShell？

ClusterShell 包在大多數發行版的官方包管理器中都可用。因此，使用發行版包管理器工具進行安裝。

對於 Fedora 系統，使用 DNF 命令來安裝 clustershell。

$ sudo dnf install clustershell

如果系統默認是 Python 2，這會安裝 Python 2 模塊和工具，可以運行以下命令安裝 Python 3 開發包。

$ sudo dnf install python3-clustershell

在執行 clustershell 安裝之前，請確保你已在系統上啟用 EPEL 存儲庫。

對於 RHEL/CentOS 系統，使用 YUM 命令來安裝 clustershell。

$ sudo yum install clustershell

如果系統默認是 Python 2，這會安裝 Python 2 模塊和工具，可以運行以下命令安裝 Python 3 開發包。

$ sudo yum install python34-clustershell

對於 openSUSE Leap 系統，使用 Zypper 命令來安裝 clustershell。

$ sudo zypper install clustershell

如果系統默認是 Python 2，這會安裝 Python 2 模塊和工具，可以運行以下命令安裝 Python 3 開發包。

$ sudo zypper install python3-clustershell

對於 Debian/Ubuntu 系統，使用 APT-GET 命令或 APT 命令來安裝 clustershell。

$ sudo apt install clustershell

如何在 Linux 使用 PIP 安裝 ClusterShell？

可以使用 PIP 安裝 ClusterShell，因為它是用 Python 編寫的。

在執行 clustershell 安裝之前，請確保你已在系統上啟用了 Python 和 PIP 。

$ sudo pip install ClusterShell

如何在 Linux 上使用 ClusterShell？

與其他實用程序（如 pssh 和 dsh）相比，它是直接了當的優秀工具。它有很多選項可以在遠程並行執行。

在開始使用 clustershell 之前，請確保你已啟用系統上的無密碼登錄。

以下配置文件定義了系統範圍的默認值。你不需要修改這裡的任何東西。

$ cat /etc/clustershell/clush.conf

如果你想要創建一個伺服器組，那也可以。默認情況下有一些示例，請根據你的要求執行相同操作。

$ cat /etc/clustershell/groups.d/local.cfg

只需按以下列格式運行 clustershell 命令即可從給定節點獲取信息：

$ clush -w 192.168.1.4,192.168.1.9 cat /proc/version
192.168.1.9: Linux version 4.15.0-45-generic ([email protected]) (gcc version 7.3.0 (Ubuntu 7.3.0-16ubuntu3)) #48-Ubuntu SMP Tue Jan 29 16:28:13 UTC 2019
192.168.1.4: Linux version 3.10.0-957.el7.x86_64 ([email protected]) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) ) #1 SMP Thu Nov 8 23:39:32 UTC 2018

選項：

-w: 你要運行該命令的節點。

你可以使用正則表達式而不是使用完整主機名和 IP：

$ clush -w 192.168.1.[4,9] uname -r
192.168.1.9: 4.15.0-45-generic
192.168.1.4: 3.10.0-957.el7.x86_64

或者，如果伺服器位於同一 IP 系列中，則可以使用以下格式：

$ clush -w 192.168.1.[4-9] date
192.168.1.6: Mon Mar 4 21:08:29 IST 2019
192.168.1.7: Mon Mar 4 21:08:29 IST 2019
192.168.1.8: Mon Mar 4 21:08:29 IST 2019
192.168.1.5: Mon Mar 4 09:16:30 CST 2019
192.168.1.9: Mon Mar 4 21:08:29 IST 2019
192.168.1.4: Mon Mar 4 09:16:30 CST 2019

clustershell 允許我們以批處理模式運行命令。使用以下格式來實現此目的：

$ clush -w 192.168.1.4,192.168.1.9 -b
Enter "quit" to leave this interactive mode
Working with nodes: 192.168.1.[4,9]
clush> hostnamectl
---------------
192.168.1.4
---------------
Static hostname: CentOS7.2daygeek.com
Icon name: computer-vm
Chassis: vm
Machine ID: 002f47b82af248f5be1d67b67e03514c
Boot ID: f9b37a073c534dec8b236885e754cb56
Virtualization: kvm
Operating System: CentOS Linux 7 (Core)
CPE OS Name: cpe:/o:centos:centos:7
Kernel: Linux 3.10.0-957.el7.x86_64
Architecture: x86-64
---------------
192.168.1.9
---------------
Static hostname: Ubuntu18
Icon name: computer-vm
Chassis: vm
Machine ID: 27f6c2febda84dc881f28fd145077187
Boot ID: f176f2eb45524d4f906d12e2b5716649
Virtualization: oracle
Operating System: Ubuntu 18.04.2 LTS
Kernel: Linux 4.15.0-45-generic
Architecture: x86-64
clush> free -m
---------------
192.168.1.4
---------------
total used free shared buff/cache available
Mem: 1838 641 217 19 978 969
Swap: 2047 0 2047
---------------
192.168.1.9
---------------
total used free shared buff/cache available
Mem: 1993 352 1067 1 573 1473
Swap: 1425 0 1425
clush> w
---------------
192.168.1.4
---------------
09:21:14 up 3:21, 3 users, load average: 0.00, 0.01, 0.05
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
daygeek :0 :0 06:02 ?xdm? 1:28 0.30s /usr/libexec/gnome-session-binary --session gnome-classic
daygeek pts/0 :0 06:03 3:17m 0.06s 0.06s bash
daygeek pts/1 192.168.1.6 06:03 52:26 0.10s 0.10s -bash
---------------
192.168.1.9
---------------
21:13:12 up 3:12, 1 user, load average: 0.08, 0.03, 0.00
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
daygeek pts/0 192.168.1.6 20:42 29:41 0.05s 0.05s -bash
clush> quit

如果要在一組節點上運行該命令，請使用以下格式：

$ clush -w @dev uptime
or
$ clush -g dev uptime
or
$ clush --group=dev uptime
192.168.1.9: 21:10:10 up 3:09, 1 user, load average: 0.09, 0.03, 0.01
192.168.1.4: 09:18:12 up 3:18, 3 users, load average: 0.01, 0.02, 0.05

如果要在多個節點組上運行該命令，請使用以下格式：

$ clush -w @dev,@uat uptime
or
$ clush -g dev,uat uptime
or
$ clush --group=dev,uat uptime
192.168.1.7: 07:57:19 up 59 min, 1 user, load average: 0.08, 0.03, 0.00
192.168.1.9: 20:27:20 up 1:00, 1 user, load average: 0.00, 0.00, 0.00
192.168.1.5: 08:57:21 up 59 min, 1 user, load average: 0.00, 0.01, 0.05

clustershell 允許我們將文件複製到遠程計算機。將本地文件或目錄複製到同一個遠程節點：

$ clush -w 192.168.1.[4,9] --copy /home/daygeek/passwd-up.sh

我們可以通過運行以下命令來驗證它：

$ clush -w 192.168.1.[4,9] ls -lh /home/daygeek/passwd-up.sh
192.168.1.4: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 4 09:00 /home/daygeek/passwd-up.sh
192.168.1.9: -rwxr-xr-x 1 daygeek daygeek 159 Mar 4 20:52 /home/daygeek/passwd-up.sh

將本地文件或目錄複製到不同位置的遠程節點：

$ clush -g uat --copy /home/daygeek/passwd-up.sh --dest /tmp

我們可以通過運行以下命令來驗證它：

$ clush --group=uat ls -lh /tmp/passwd-up.sh
192.168.1.7: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 6 07:44 /tmp/passwd-up.sh

將文件或目錄從遠程節點複製到本地系統：

$ clush -w 192.168.1.7 --rcopy /home/daygeek/Documents/magi.txt --dest /tmp

我們可以通過運行以下命令來驗證它：

$ ls -lh /tmp/magi.txt.192.168.1.7
-rw-r--r-- 1 daygeek daygeek 35 Mar 6 20:24 /tmp/magi.txt.192.168.1.7

via: https://www.2daygeek.com/clustershell-clush-run-commands-on-cluster-nodes-remote-system-in-parallel-linux/

作者： Magesh Maruthamuthu 選題： lujun9972 譯者： wxy 校對： wxy

本文由 LCTT 原創編譯， Linux中國榮譽推出