本系列文章主要闡述大數據計算平台相關框架的搭建，包括如下內容：

• 基礎環境安裝
• zookeeper集群的搭建
• kafka集群的搭建
• hadoop/hbase集群的搭建
• spark集群的搭建
• flink集群的搭建
• elasticsearch集群的搭建
• alluxio集群的搭建

1.zookeeper簡介

Zookeeper是一個分布式的、開源的分布式應用協調服務，它暴露了一組簡單的基礎原件，分布式應用可以在這些原件之上實現更高級別的服務，主要使用場景和功能如下：

• Naming service
• Configuration management
• Synchronization
• Leader election
• Message Queue
• Notification system

其集群管理和命名服務在kafka、hadoop、spark中均有相關應用。

2.zookeeper安裝

• 下載

官網地址：http://zookeeper.apache.org/releases.html，本文選擇穩定版3.4.8

• 解壓安裝

本文環境列表

直接在伺服器10.20.112.59上執行解壓

cd ~
tar -zxvf zookeeper-3.4.8.tar.gz
mv zookeeper-3.4.8 zookeeper

切換到conf目錄，進行配置文件的更改

cd ~/zookeeper/conf/
mv zoo_sample.cfg zoo.cfg

修改後的配置文件zoo.cfg如下：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/wls/oracle/bigdata/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
server.1=SZB-L0045546:2888:3888
server.2=SZB-L0045551:2888:3888
server.3=SZB-L0045552:2888:3888

dataDir主要是存儲zookeeper的日誌文件和快照信息

server.x中的x(數字1,2,3)主要是zookeeper的主機標識，所有的zookeeper集群中機器均需要在對應的dataDir目錄新建myid文件，其內容為x(數字1,2,3)

• 日誌配置更改

默認zookeeper的日誌輸出信息都列印到了zookeeper.out文件中，這樣隨著程序的進行，其日誌文件會相當大，為便於後續的維護，優化相關配置

(1)日誌路徑

${ZOOKEEPER_HOME}/bin下更改zkEnv.sh文件，新增ZOO_LOG_DIR配置

vi /wls/oracle/zookeeper/bin/zkEnv.sh

ZOO_LOG_DIR=/wls/oracle/bigdata/zookeeper/log

(2)日誌方式

編輯配置${ZOOKEEPER_HOME}/conf/log4j.properties

vi /wls/oracle/zookeeper/config/log4j.properties

更改zookeeper.root.logger

同時更改log4j.appender.ROLLINGFILE相關屬性

配置更改完成後，將整個zookeeper目錄同步到其他伺服器

scp -r /wls/oracle/zookeeper oracle@10.20.112.64:/wls/oracle/
scp -r /wls/oracle/zookeeper oracle@10.20.112.65:/wls/oracle/

各個伺服器/wls/oracle/bigdata/zookeeper路徑下，配置myid文件

• 啟動和驗證

依次啟動集群中的zookeeper節點

/wls/oracle/zookeeper/bin/zkServer.sh start

待節點全部啟動完成

/wls/oracle/zookeeper/bin/zkServer.sh status

同時，執行jps命令，會有QuorumPeerMain的進程存在，至此，zookeeper驗證完成。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！