HDP大數據平台搭建

1.文檔編寫目的

本文主要是描述使用VM+Centos7.2+Ambari2.6+HDP2.6搭建HDP大數據平台的過程。由於在個人PC虛擬機中安裝的全過程，學習Hadoop生態圈各組件時，通過一些理論資料或書籍學習，過程會非常枯燥的，而且很難深入理解其中的原理，因此搭建一個學習使用的Hadoop的生態大數據環境，是非常有必要的。在綜合考慮單獨部署各個組件和使用發行版的Hadoop產品，我選擇後者，如果樂於自己動手但不部署也是可以的。寫這個博客，一方面，為了自己重新梳理HDP的安裝過程，另一方面，可以為大數據入門者提供搭建基礎環境的參考。搭建完成基礎環境後，計劃將目前hadoop生態圈的各組件產品的使用進行詳細總結和分析，請持續關注。

目錄

①平台技術棧

②介質準備

③虛擬機及系統安裝

④集群伺服器配置（IP靜態化、SSH免密、NTP、關閉防火牆等）

⑤配置本地yum源

⑥Java、Mysql安裝配置

⑦安裝Ambari

⑧安裝HDP集群

⑨集群完整性檢查，包括 HDFS 文件系統、MapReduce、Hive 等是否可以正常運行。

2.平台技術棧

在Hadoop的發行版中進行選擇，綜合對比HDP、CDH、MapR之後，選擇資料和使用者較多的HDP版本。HDP是由Hortonworks公司根據開源的各組件進行開發整合，形成的發行版本，https://hortonworks.com/ 訪問官方站點，可以參閱安裝、使用指南等資料，在安裝部署過程中，如果遇到錯誤，解決辦法很有可能可以從官網的指南中找到。

3.介質準備

在開始安裝之前，在Hortonworks官方ambari安裝指南梳理，由於考慮網路等因素，採用離線安裝ambari和HDP，並根據版本兼容性下載介質：

也可以選擇在線安裝，前提是網速穩定切帶寬大，整個安裝過程會耗時較長。

4.虛擬機系統安裝

在安裝之前，對PC的硬體配置的建議：內存8G以上，最好16G；硬碟500G以上； CPU雙核、i7及以上；

（1）安裝VMware

（2）安裝centos7

拷貝生成的虛擬機文件，規劃四個虛擬伺服器節點，如下

(3)VMware管理個虛擬機節點，並配置修改主機名稱，並根據實際運行要求，配置內存、磁碟大小，其中主節點內存、硬碟多分配一些，性能要求較高。

5.集群伺服器配置

推薦使用xshell、filezilla進行連接集群伺服器

（1）修改節點名稱

hostnamectl set-hostname master

（2）靜態化IP地址及hosts配置

BOOTPROTO=static #dhcp改為static

IPADDR=192.168.8.10 #靜態IP

GATEWAY=192.168.8.2 #默認網關

NETMASK=255.255.255.0 #子網掩碼

DNS1=10.30.20.254 #DNS 配置

DNS2=192.168.31.1

IP地址分配: master:192.168.8.10

node1: 192.168.8.11

node2: 192.168.8.12

node3: 192.168.8.13

配置生效： source /etc/hosts

註：遇到的問題重啟網卡：service network restart 重啟之後，發現IP地址還是自動分配的，解決辦法：需要關閉NetworkManager服務，命令如下：

systemctl disable NetworkManager.service

chkconfig network on

systemctl stop NetworkManager

systemctl restart network

（3）SSH免密登陸

SSH配置：sudo vim /etc/ssh/sshd_config

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

生成SSH秘鑰：ssh -keygen -t rsa

將pub秘鑰放到認證文件中：cat id_rsa.pub >> authorized_keys

目錄許可權設置：

sudo chmod 700 ~

sudo chmod 700 ~/.ssh

sudo chmod 600 ~/.ssh/authorized_keys

彙集pub秘鑰到master認證文件：cat ~/.ssh/id_rsa.pub | ssh master "cat >> ~/.ssh/authorized_keys"

拷貝認證文件到節點：

scp ~/.ssh/authorized_keys node1:~/.ssh/

scp ~/.ssh/authorized_keys node2:~/.ssh/

scp ~/.ssh/authorized_keys node3:~/.ssh/

重啟SSH:sudo service sshd restart

測試驗證：ssh node1/node2/node3

詳細參考：https://www.cnblogs.com/keitsi/p/5653520.html

（4）啟用NTP，保證個節點時鐘一致，保持彼此同步

yum install -y ntp

systemctl enable ntpd

6.配置本地yum源

(1)安裝apchehttpd

yum install httpd

httpd -k start

(2)上傳ambari、hdp的文件並解壓

cd /var/www/html/

tar -zxvf xx.tar.gz -C /var/www/html

(3)配置本地源repo

ambari.repo

#VERSION_NUMBER=2.6.2.0-155

[ambari-2.6.2.0]

name=ambari Version - ambari-2.6.2.0

baseurl=http://master/ambari/centos7/2.6.2.0-155

gpgcheck=1

gpgkey=http://master/ambari/centos7/2.6.2.0-155/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

hdp.repo

[HDP-2.6]

name=HDP Version - HDP-2.6.5.0

baseurl=http://master/HDP/centos7/2.6.5.0-292

gpgcheck=1

gpgkey=http://master/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

[HDP-UTILS-1.1.0.22]

name=HDP-UTILS Version - HDP-UTILS-1.1.0.22

baseurl=http://master/HDP-UTILS/centos7/1.1.0.22

gpgcheck=1

gpgkey=http://master/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

[HDP-2.6-GPL]

name=HDP-GPL Version - HDP-GPL-2.6.5.0

baseurl=http://master/HDP-GPL/centos7/2.6.5.0-292

gpgcheck=1

gpgkey=http://master/HDP-GPL/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

(4)驗證yum源可用性

yum cleanall

yumlistupdate

yum makecache

yum repolist

7.Java、Mysql安裝配置

（1）JDK安裝和配置

linux版本：http://www.oracle.com/technetwork/java/javase/downloads/index.htm查看：rpm -qa | grep java

卸載openjdk:

rpm -e –nodeps tzdata-java-2015g-1.el7.noarch

rpm -e –nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64

rpm -e –nodeps java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64

rpm -e –nodeps java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64

rpm -e –nodeps java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

上傳java安裝文件。

執行許可權：

chmod +x jdk-8u121-linux-x64.rpm

安裝：

rpm -ivh jdk-8u121-linux-x64.rpm

配置環境變數：

vim /etc/profile

#set java environment

JAVA_HOME=/usr/java/jdk1.8.0_121

JRE_HOME=/usr/java/jdk1.8.0_121/jre

PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JRE_HOME PATH CLASSPATH

使配置文件生效：source /etc/profile

（2）mysql資料庫安裝

安裝：https://www.cnblogs.com/pythonal/p/6141516.html

安裝完成後創建ambari資料庫及用戶，登錄資料庫root用戶執行下面語句：

mysql -uroot -p

create database ambari character set utf8 ;

CREATE USER "ambari"@"%"IDENTIFIED BY "admin";

GRANT ALL PRIVILEGES ON *.* TO "ambari"@"%";

FLUSH PRIVILEGES;

如果要安裝Hive，再創建Hive資料庫和用戶 再執行下面的語句：

create database hive character set utf8 ;

CREATE USER "hive"@"%"IDENTIFIED BY "admin";

GRANT ALL PRIVILEGES ON *.* TO "hive"@"%";

FLUSH PRIVILEGES;

如果要安裝Oozie，再創建Oozie資料庫和用戶 再執行下面的語句：

create database oozie character set utf8 ;

CREATE USER "oozie"@"%"IDENTIFIED BY "admin";

GRANT ALL PRIVILEGES ON *.* TO "oozie"@"%";

FLUSH PRIVILEGES;

安裝mysql jdbc 驅動：yum install mysql-connector-java

8.安裝Ambari

(1)主節點運行安裝ambari-server

yum install ambari-server -y

(2)初始化ambari

ambari-server setup

設置用戶、jdk、資料庫等配置，完成安裝。

(3)執行數據sql

mysql -u ambari -p

use ambari

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

(4)配置資料庫驅動

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

(5)啟動Ambari-server並登陸控制台

ambari-server start

控制台：http://master:8080

9.安裝HDP集群

(1)配置集群名稱、節點、HDP版本等

（2）Ambari-Agent安裝

（3）選擇安裝的服務、並逐步配置

這裡為了加快安裝，選擇常用的幾個服務：

（4）安裝完成，進入監控台

啟動所有服務

運行情況

10.集群完整性檢查

（1）HDFS功能驗證

（可左右滑動）

（2）Hive功能驗證

創建Hive表並插入測試數據，執行以下命令：

（可左右滑動）

（3）MapRuduce任務驗證

（可左右滑動）

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！