Storm集群搭建小結

一、環境

五台Ubuntu 16.04；

關閉防火牆，配置hosts文件；

安裝java並配置環境變數；

下載zookeeper-3.4.10.tar.gz、apache-storm-0.9.1.tar.gz;

二、安裝zookeeper

解壓zookeeper-3.4.10.tar.gz到/home/hadoop/目錄

建立zookeeper的data目錄

mkdir /home/hadoop/zookeeper-3.4..10/data

1

編輯配置文件

home/hadoop/zookeeper-3.4.10/conf/zoo.cfg:

tickTime=2000

dataDir=/home/hadoop/zookeeper-3.4.10/data/

clientPort=2181

initLimit=5

syncLimit=2

server.1=master:2888:3888

server.2=node1:2888:3888

server.3=node2:2888:3888

server.4=node3:2888:3888

server.5=node4:2888:3888

1

2

3

4

5

6

7

8

9

10

建立zookeeper集群的myid文件

echo 「1」 > home/hadoop/zookeeper-3.4.10/data/myid

1

三、安裝Storm

解壓apache-storm-0.9.1.tar.gz到/home/hadoop目錄下

創建本地數據目錄

mkdir -p /home/hadoop/apache-storm-0.9.1/data

1

配置conf/storm.yaml文件：

storm.zookeeper.servers:

- "master"

- "node1"

- "node2"

- "node3"

- "node4"

nimbus.host: "master"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

storm.local.dir: "/home/hadoop/apache-storm-0.9.1-incubating/data"

1

2

3

4

5

6

7

8

9

10

11

12

13

四、啟動集群

啟動zookeeper：

在zookeeper根目錄下執行：

bin/zkServer.sh start

1

查看啟動狀態:

bin/zkServer.sh status

1

若啟動成功，則一台為leader，另外四台為follower。

啟動nimbus：

在nimbus主機的strom根目錄下執行：

# 啟動主節點

nohup bin/storm nimbus > /dev/null 2>&1 &

# 啟動web-ui

nohup bin/storm ui > /dev/null 2>&1 &

# 啟動logviewer功能

nohup bin/storm logviewer > /dev/null 2>&1 &

1

2

3

4

5

6

啟動supervisor：

在supervisor的storm根目錄下執行：

nohup bin/storm supervisor > /dev/null 2>&1 &

nohup bin/storm logviewer > /dev/null 2>&1 &

1

2

檢查

打開瀏覽器，輸入master：8080，即可看到集群信息。

五、部署程序

使用maven + IDEA 開發wordcount程序

添加maven依賴：

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

<modelVersion>4.0.0</modelVersion>

<groupId>storm</groupId>

<artifactId>StormWordCount</artifactId>

<version>1.0-SNAPSHOT</version>

<dependencies>

<dependency>

<groupId>org.apache.storm</groupId>

<artifactId>storm-core</artifactId>

<version>0.9.3</version>

</dependency>

<dependency>

<groupId>mysql</groupId>

<artifactId>mysql-connector-java</artifactId>

<version>5.1.17</version>

</dependency>

</dependencies>

</project>

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

打包部署

進入項目根目錄執行：

mvn clean install -DskipTests=true

mvn package

1

2

兩條命令成功執行，將會生成jar包。

進入storm根目錄，執行以下命令提交任務到集群：

bin/storm jar {WordCount}/target/*.jar TopologyMain

1

通過Storm UI即可查看任務提交和運行情況

關閉topology：

在Storm UI中點擊相應任務，在新頁面中點擊kill即可。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！