Centos7+CDH5.7.2全摆设流程

沙漠浪漫子

Centos 7+CDH5.7.2全摆设流程

一、前期预备

1、假造机设置
这个设置是我在网上看到的，我就借用了这个设置：
主节点：8g内存、硬盘80g
从节点：2g内存、硬盘80g
安装体系的时间，我发起将IP和主机名都给设置好，如许就省的在体系中举行设置了，固然下面也有在体系中设置的方法。假造机体系安装可以拜见：假造机：CentOS 7体系安装
以是假如你要利用假造机来完成这个设置的话，那么，你的主机的设置内存就不能低于16G了。而且还要找一个盘符较大的磁盘空间，否则到背面操纵CDH的时间会很尴尬，我第一次就被卡在了硬盘空间不敷上，然后又重新找了一个较大的盘符举行了重新安装，包罗假造机体系。
2、软件版本
1.JDK版本：jdk-8u131-linux-x64.tar.gz
2.Scala版本：scala-2.11.0.tgz
以上两个包发起利用rpm大概yum安装，如许可以省点事，不外我是利用的这两个包。
3.jdbc毗连包:mysql-connector-java-5.1.38-bin.jar
4.MySQL相干包：
MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm
MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm
5.CDH安装相干的包：
cloudera manager包：cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
CDH包：
CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel.sha1
manifest.json
留意centos要下载el7的。
6.体系利用Linux的CentOS 7版本，CentOS 7和CentOS 6.5在下令上有一些区别，这里会举行阐明。
3、集群的规划
IP地点
主机名
阐明
192.168.75.41
cdh01
主节点、从节点
192.168.75.42
cdh02
从节点
192.168.75.43
cdh03
从节点
二、开始安装前设置和预装软件

1、服务器设置
修改每台节点服务器的有关设置，包罗IP、hostname、selinux，防火墙。
假如你在安装CentOS7体系的时间已经指定了主机名和IP地点，那么IP修改和hostname修改就可以省略。但是这内里要夸大一点的是，假如你想利用yum安装，那么DNS肯定要设置。
1．IP修改
这里要利用固定IP，而centOS 7已经没有setup下令，以是图形界面的设置已经没有了，这里只能修改设置文件，而且设置文件的名称还不固定，每个人的都大概不一样，这里我说一下位置，IP设置文件的位置：/etc/sysconfig/network-scripts/，如下图：


这里我的设置文件名称叫做ifcfg-ens33。而CentOS 7体系竟然连vim也没有了，只有vi，以是就是如下：


如上图：BOOTPROTO、ONBOOT是必要修改的，剩下四项是必要手动添加的。由于背面要利用yum安装，以是这里必须设置DNS，测试情况可以将DNS设置成网关的地点。


如上图，重启网络服务，这个下令没有更改，然后检察ip。
每台都举行如许的设置。
2．hostname修改
分别对三台都举行更改，而且留意每台名称和ip，每台都要配上。
[root@hodoop1~] vi /etc/sysconfig/network
#设置内容
NETWORKING=yes
HOSTNAME=cdh01
此处修改完成必要重启才气见效，也可以利用如下方法，立刻见效：
[root@hodoop1~] hostname cdh01
[root@hodoop1~] hostname
cdh01
3．关闭防火墙
CentOS 7.0默认利用的是firewall作为防火墙，相干操纵变更很大，和6.5版本的一点也不一样，操纵如下：
[root@hadoop1~]firewall-cmd --state #检察防火墙状态
running
[root@hadoop1~]systemctl stop firewalld #制止防火墙的服务
[root@hadoop1~]systemctl disable firewalld #克制开机启动
rm '/etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service'
rm '/etc/systemd/system/basic.target.wants/firewalld.service'
4．selinux关闭
全部节点都必要关闭，这是官方文档要求的。
[root@hadoop1~]vi /etc/sysconfig/selinux
SELINUX=disabled
重启才气见效，重启后查抄。
[root@cdh01~]sestatus -v
SELinux status: disabled #表现已经关闭了。
5．免密登录设置
安装过程中master必要各个节点的root免登录暗码，先在master上天生公钥：
ssh-keygen
ssh-copy-id [email protected]
ssh-copy-id [email protected]
ssh-copy-id [email protected]
分别对每台节点举行以上操纵，操纵完了可以通过ssh ip举行验证是否可以无需输入暗码就能直接登录到节点服务器上去。
6．ip和主机名映射关系
操纵如下：
[root@hadoop1~]vi /etc/hosts
#内容如下
127.0.0.1 localhost
::1 localhost
192.168.75.41 cdh01
192.168.75.42 cdh02
192.168.75.43 cdh03
内容如上，生存退出，然后可以利用scp下令将这个设置拷贝给其他主机。
scp /etc/hosts [email protected]:/etc/hosts
7．NTP服务器设置
网上许多博客都提到这个设置，说是让各个节点同一时间，但是我没有设置，我也将这个设置放到这里：
[root@cdh01~]yum -y install ntp #更改master的节点
[root@cdh01~]vi /etc/ntp.conf
解释掉全部server *.*.*的指向，新添加一条可毗连的ntp服务器(百度一下ntp服务器)
server ntp.sjtu.edu.cn iburst
在其他节点上把ntp指向master服务器地点即可(/etc/ntp.conf下)
server 192.168.160.130 iburst 全部节点。
2、第三方依靠包
1．其他依靠
针对这个步调，你可以看网上许多的博客都是将这个步调放到了MySQL安装的背面，但是颠末本人的测试，这一步照旧放在前面比力好，由于背面安装的软件，但凡有依靠的，你在这里已经做好了，以是在这里操纵安装依靠包，而且是全部节点都安装。
yum install chkconfig python bind-utils psmisc libxslt zlib sqlite fuse fuse-libs redhat-lsb cyrus-sasl-plain cyrus-sasl-gssapi
留意这个地方依靠包肯定要安装完备了，会颠末三个y/N的过程，全部选择Y，这个安装的过程完全看你的网速了，根本敲完这个下令你就可以苏息一会了。
2．MySQL jar包
这个环节只必要在主节点上举行即可。
在cdh01上预备mysql的jar包：
mkdir -p /usr/share/java
修改jar包的名字，并拷贝到/usr/share/java/目次：
cp mysql-connector-java-5.1.38-bin.jar /usr/share/java/mysql-connector-java.jar
留意上述操纵，是修改了jar包的名字，由于背面有操纵会探求这个jar包的这个固定的名字，以是这里要修改一下名字。
3、安装jdk
这个是全部服务的底子，每个节点都必要安装。
1．卸载jdk
安装之前起首查抄一下，你的服务器是否默认安装了OpenJDK，假如体系自带了，就必要卸载，步调如下：
#查抄是否安装
[root@cdh01~]java -version
java version "1.7.0_75"
OpenJDK Runtime Environment (rhel-2.5.4.2.el7_0-x86_64 u75-b13)
OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
#检察必要卸载的包
[root@cdh01~]rpm -qa | grep jdk
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
#卸载
[root@cdh01~]yum -y remove java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
[root@cdh01~]yum -y remove java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
#再次查抄
[root@cdh01~]java -version
bash: /usr/bin/java: No such file or directory
假如没有安装，则可以跳过此步调，我的体系没有自带jdk。
2．安装
如下两个方法，任选其一，不要都做。
1>rpm或yum安装
直接利用下令举行安装即可，这里不做过多表明。
2>利用压缩包安装
将预备的好的安装包上传，我风俗的目次是：/home/software，上传完成，举行解压：
tar -zxvf jdk-8u131-linux-x64.tar.gz
mv jdk-1.8.0 jdk1.8
假如你还要安装spark，可以将情况变量和Scala一起设置。
设置情况变量：
vi /etc/profile
在文件中追加一下内容：
#java
export JAVA_HOME=/home/software/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
生存退出之后，这里还必要设置一个软毗连：
mkdir /usr/java
ln -s /home/software/jdk1.8 /usr/java/default
假如你利用的是yum大概rpm安装的jdk那么这些步调就可以省略。由于CDH平台安装的时间默认探求的jdk路径为/usr/java。
4、安装Scala
假如你要安装Spark肯定不能省略Scala的安装，否则，你在web端操纵CDH的时间，会给你报错，网上的办理方法，根本都是说的jdk没人说到Scala。
这个操纵同样也是在全部的节点上。
目次照旧在/home/software。操纵如下：
tar -zxvf scala-2.11.0.tgz
mv scala-2.11.0 scala2.11
然后设置情况变量：
vi /etc/profile
同样在末端追加以下内容：
export SCALA_HOME=/home/software/scala2.11
export PATH=$PATH:$SCALA_HOME/bin
5、安装mysql
MySQL的安装只必要在主节点举行即可。
1．卸载
安装MySQL也同样必要查抄，体系是否自带了，centos7自带的是mariadb，起首查抄，下令如下：
[root@cdh01]rpm -qa | grep mariadb
mariadb-libs-5.5.41-2.el7_0.x86_64
如上的环境是存在，假如存在就利用以下下令举行卸载：
[root@cdh01]rpm -e --nodeps mariadb-libs-5.5.41-2.el7_0.x86_64
2．安装
将下载好的MySQL rpm包拷贝到服务器上，然后解压、安装。
1>创建用户及用户组
#增长用户组mysql：
groupadd mysql
#增长用户mysql，参加mysql用户组：
useradd -r -g mysql mysql
2>安装MySQL
#安装server：
rpm -ivh MySQL-server-5.6.29-1.linux_glibc2.5.x86_64.rpm
#安装client：
rpm -ivh MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm
3>添加随机启动
将mysqld参加体系服务，并随机启动，下令如下：
cp /usr/share/mysql/mysql.server /etc/init.d/mysqld
4>启动MySQL
启动mysqld的下令如下：
service mysqld start
5>修改暗码
起首获取mysql安装时root用户的随秘密码：
vim /root/.mysql_secret
也可利用cat下令检察：
cat /root/.mysql_secret
此暗码只能用来修改暗码利用。
必须要修改root用户的暗码才可以利用mysql，否则只能毗连不能操纵
mysqladmin -u root -p password root
6>测试
#毗连进入mysql，下令如下：
mysql -u root -p
root
#检察mysql的安装运行路径，下令如下：
ps -ef|grep mysql
7>MySQL相干题目
假如出现没有权限的题目，在mysql授权(在安装mysql的呆板上实行)，实行下面的语句，举行授权：
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
FLUSH PRIVILEGES;
*.*:全部库下的全部表。
%：任何IP地点或主机都可以毗连。假如%设置不见效，就设置详细的主机名称。
3．创建数据库
如下下令是创建摆设各个服务所需的数据库，我本人倾向用不消先创建好，用的时间就可以直接摆设服务了，不必再来数据库举行创建。
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
三、安装Cloudera-Manager

将Cloudera相干的四个包，如下：
cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.11-el7.parcel.sha1
manifest.json
上传到全部的服务器上，在全部的服务器上实行以下操纵。
1、安装CM
解压cm tar包到指定目次，先创建目次，下令操纵如下：
[root@cdh01 ~]mkdir /opt/cloudera-manager
[root@cdh01 ~]tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager
创建cloudera-scm用户
#创建
[root@cdh01 ~]useradd -r -d /opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server -M -c "Cloudera SCM User" cloudera-scm
#检察
[root@cdh01 ~]id cloudera-scm
2、设置
1．设置从节点的老大
设置从节点cloudera-manger-agent指向主节点服务器，我如今的集群规划，是必要在每台服务器上都举行如下设置：
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
将server_host改为CMS地点的主机名即cdh01
server_host=cdh01
2．设置堆栈目次
此操纵只需在主节点举行即可，在主节点中创建parcel-repo堆栈目次，下令如下：
[root@cdh01 ~]mkdir -p /opt/cloudera/parcel-repo
[root@cdh01 ~]chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
[root@cdh01 ~]cp CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo
留意：此中CDH-5.7.2-1.cdh5.7.2.p0.18-el5.parcel.sha1 后缀要把1去掉，操纵如下：
mv CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha1 CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha
3．设置CDH从节点目次
在全部的节点上创建parcels目次，操纵如下：
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
表明：Clouder-Manager将CDH从主节点的/opt/cloudera/parcel-repo目次中抽取出来，分发解压激活到各个节点的/opt/cloudera/parcels目次中。
4．初始化数据库
此操纵在主节点上举行，初始脚本设置数据库scm_prepare_database.sh，操纵下令如下：
[root@cdh01 ~]/opt/cloudera-manager/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql -hcdh01 -uroot -proot --scm-host cdh01 scmdbn scmdbu scmdbp
阐明：这个脚本就是用来创建和设置CMS必要的数据库的脚本。各参数是指：
mysql：数据库用的是mysql，假如安装过程中用的oracle，那么该参数就应该改为oracle。
-hcdh01：数据库创建在cdh01主机上面。也就是主节点上面。
-uroot：root身份运行mysql。-proot：mysql的root暗码是root。
--scm-host cdh01：CMS的主机，一样平常是和mysql安装的主机是在同一个主机上。
末了三个参数是：数据库名，数据库用户名，数据库暗码。
实行完成下令正常如下：


在这个地方就可以表明上面为什么要改jar名了。
3、启动服务
1．启动server
此下令只需在主节点实行即可。
进入/opt/cloudera-manager/cm-5.7.2/etc/init.d/目次中，实行如下下令：
./cloudera-scm-server start
#大概直接实行以下下令：
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-server start
2．启动agent
启动cloudera-scm-agent，必要在全部的从节点上启动。
进入/opt/cloudera-manager/cm-5.7.2/etc/init.d/目次中，实行如下下令：
./cloudera-scm-agent start
#大概直接实行以下下令：
/opt/cloudera-manager/cm-5.7.2/etc/init.d/cloudera-scm-agent start
启动如下图所示：


这里要阐明一下，根本上上述两项启动都会设置随机启动，但是我实行了许多个随机启动的方式，都不管用，这里临时不做，后期我找到可以随机启动的方式再增补。
注：以上环节只要操纵的没有题目，以下的步调将不会出现任何题目。
四、服务安装

1、web登录
在欣赏器中输入192.168.75.41:7180。
出现下图登录界面，默认用户名和暗码：admin


出现这个界面阐明CM已经安装乐成了，下面就在这个web界面中摆设各种服务了。
2、web引导安装
此过程中没有提到的界面，默认选择继承。
1．先择express版本
当登录之后，会进入选择express版本的界面，在此界面选择免费即可，然后继承。


2．设置主机
在服务器的各个从节点已经安装并启动了agent，还在各个节点都设置了server指向，以是各个节点的agent就会给server发消息陈诉，这里可以在“当前管理的主机”中看到三个主机，全部勾选并继承。
留意假如cloudera-scm-agent没有设为开机启动，假如以上有重启这里大概会检测不到其他服务器。之前设置的时间，我就没有设置随机启动。


3．选择CDH版本
这里选择本身必要的版本即可。这里我选择了两项，其一选择方式利用Parcel；其二CDH版本选择的是CDH-5.7.2-1 cdh5.7.2p0 18；其他均选择无。


4．安装Parcel
此步是分发parcels到各个节点，上一步继承，这一步是主动举行的不必要什么操纵，唯一必要的就是等候。当全部完成点击继承。


5．设置校验
此步是对主机设置的精确性举行检测。


这个地方要留意这个地方有两项没有查抄通过，但是我没做处置惩罚，我在网上找到了一个方法，但是不知道详细是否管用，方式如下：
可以在集群中利用以下下令
echo 0 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
然后再点击上面的重新运行会发现这次全部查抄通过了。


我没有做上面的处置惩罚，但是背面的安装也没有影响。
6．选择服务
重头戏来了，这里要选择要安装利用的服务，CDH5默认提供了如图的六种搭配，固然那也可以选择则自界说，这里我选择的就是自界说。


7．脚色分配
这里就是举行各个服务脚色分配给谁人节点的，可以默认，也可以本身做选择。


8．数据库设置选择
这里就用到了前面创建的各个数据库，根据你选择的服务，这里会让你填写每个服务用到的数据库，以及用户名和暗码。


9．集群考核
这里就都是默认的就好，除非你有规划，可以在这里举行更改。


10．开始安装
假如web引导安装会出题目，那么题目都是出在这一步，这里会出现的题目，我碰到的题目，根本都在前面做了先容，就是安装jdk和Scala的时间。根本上其他的不会出什么题目。


11．安装完成




这个时间安装完成了，点击完成，就会进入如下界面。
检察集群环境，我这里有挺多报警，大概检察下根本都是内存大概存储空间利用阈值的报警，由于我是当地假造机的，以是这些条件都有限，这里临时不处置惩罚这些报警。


以上就是安装的全部过程。
必要大数据视频学习资料的 可以私信复兴“大数据”