ANTIO.TOP
Yue.Wu
2020-03-12

在centos7上部署cdh6.3.2推荐

CDH是Cloudera的100％开放源代码平台发行版，包括Apache Hadoop，是专门为满足企业需求而构建的。CDH可立即提供企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成在一起，Cloudera创建了功能先进的系统，可以帮助您执行端到端的大数据工作流程。

# 系统信息

  • 操作系统：centos 7.7
  • 架构：x86_64
  • 数据库：mysql 5.7
  • CM版本：v6.3.1
  • CDH版本：v6.3.2

# CM

下载地址：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/

  • cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
  • cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
  • cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
  • oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

# CDH

下载地址：https://archive.cloudera.com/cdh6/6.3.2/parcels/

  • CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
  • CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1

# mysql-connector

下载地址：https://cdn.mysql.com/archives/mysql-connector-java-5.1/mysql-connector-java-5.1.46.tar.gz

  • mysql-connector-java-5.1.46.tar.gz

# 设置时区

sudo timedatectl set-timezone Asia/Shanghai
1

# 节点说明

192.168.1.81  主节点 CM server & Agent & mysql
192.168.1.82  从节点 CM Agent
192.168.1.83  从节点 CM Agent
1
2
3

# 主机hosts配置

# sudo vi /etc/hosts
192.168.1.81  cdh-01
192.168.1.82  cdh-02
192.168.1.83  cdh-03
1
2
3
4

# 安装jdk 1.8.0

sudo rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm


export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
1
2
3
4
5
6

# 部署mysql-connector

tar -xvf mysql-connector-java-5.1.46.tar.gz
sudo mkdir /usr/share/java
sudo cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46.jar /usr/share/java/mysql-connector-java.jar
1
2
3

# 关闭防火墙

sudo systemctl stop firewalld
sudo systemctl disable firewalld
1
2

# 关闭selinux

# sudo vi /etc/sysconfig/selinux
SELINUX=disabled
1
2

#

echo 10 > /proc/sys/vm/swappiness
1

# 禁用透明大页面压缩

# vi /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
1
2
3
4

# 设置免密登录

# 在cdh-01上
ssh-keygen
ssh-copy-id cdh-02
ssh-copy-id cdh-03

# 在cdh-02上
ssh-keygen
ssh-copy-id cdh-01
ssh-copy-id cdh-03

# 在cdh-03上
ssh-keygen
ssh-copy-id cdh-01
ssh-copy-id cdh-02
1
2
3
4
5
6
7
8
9
10
11
12
13
14

# 配置ntp时间同步

sudo vi /etc/ntp.conf

#注释掉所有server *.*.*的指向，新添加一条可连接的ntp服务器  我使用的是阿里云的NTP服务器
server ntp1.aliyun.com iburst
#在其他节点上把ntp指向master服务器地址即可
server 192.168.1.81 iburst
#安装完成后设置ntp开机启动并启动ntp
sudo systemctl enable ntpd
sudo systemctl start ntpd
#查看状态
sudo systemctl status ntpd
1
2
3
4
5
6
7
8
9
10
11

# 安装CM

# 获取CM(通过yum)

sudo wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/
sudo rpm --import https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPM-GPG-KEY-cloudera
1
2

# 安装CM server or agent

建议离线安装，国内下载比较慢，事先通过迅雷下载好安装包。

# 将安装包上传到目标服务器，在安装包目录执行安装即可

# 主节点通过 yum 安装
sudo yum install -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
sudo yum install -y cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
sudo yum install -y cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

# 从节点通过 yum 安装
sudo yum install -y cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
sudo yum install -y cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
1
2
3
4
5
6
7
8
9
10

# 上传CDH

执行完CM安装之后，主节点上会生成/opt/cloudera/parcel-repo目录，我们需要把下载好的parcel包及hash验证文件上传

# CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
# CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
# 将上面两个文件上传到`/opt/cloudera/parcel-repo`目录
1
2
3

# 修改hash文件名称（重要，否则会重新通过网络下载）

cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
1

# 然后修改目录权限

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
1

# 创建数据库及数据表

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'cdh123';
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'cdh123';
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'cdh123';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'cdh123';
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'cdh123';
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'cdh123';
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'cdh123';
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'cdh123';
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'cdh123';
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'cdh123';
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

# 服务初始化

# 指定cm数据库

sudo /opt/cloudera/cm/schema/scm_prepare_database.sh -h <mysql-server> mysql scm scm
1

# 启动服务

# 主节点执行
sudo systemctl start cloudera-scm-server
sudo systemctl enable cloudera-scm-server
1
2
3

# 访问服务

http://<主节点IP>:7180/
1

# 初始化

# 欢迎界面

# 设置集群名称

# 将主机加入集群（通过hosts文件进行搜索）

# 选择存储库

# JDK安装选项

这里需要注意的是，由于我们之前已经手动安装了jdk，所以这里不再勾选，否则软件会自动重新联网安装jdk

# 提供SSH登录凭证（建议使用root用户）

尽量使用root用户，否则容易出现一些权限问题

# 安装Agents

# 安装Parcels

跳转到这个页面时，需要注意的是，我们之前已经手工上传过Parcels软件包，所以这里应该会直接显示已下载，如果软件仍然联网下载，则需检查之前 上传CDH 步骤是否正确处理了。

# 检查集群状态

至此基本就安装完成了，接下来就可以安装服务了。

# 问题解决

如果初始化过程中出现了一些错误，导致初始化过程没有正常完成，也不要慌张。直接访问管理页面首页http://<主节点IP>:7180/cmf/home，解决问题即可。

# 服务安装

# FAQ

# ntpd服务开机启动失败

与同类型服务chronyd冲突导致启动失败，解决办法是禁用chronyd。

sudo systemctl disable chronyd
1

# CDH环境HDFS权限问题

如下，CDH默认的超级用户组为supergroup，而linux中默认是没有这个用户组的，所以在使用非hdfs用户进行hdfs操作时会出现权限不足的问题。

sudo groupadd supergroup
sudo usermod -a -G supergroup root
sudo usermod -a -G supergroup centos
1
2
3

# yarn异常

org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1583310390862_0002 failed 2 times due to AM Container for appattempt_1583310390862_0002_000002 exited with  exitCode: -1000
Failing this attempt.Diagnostics: [2020-03-04 16:30:26.881]org.apache.hadoop.yarn.exceptions.YarnException: Download and unpack failed
1
2

解决方案

#cdh#hadoop
上次更新: 2022/01/21, 11:10:56
Supervisor安装部署
cdh6.3.2集成tez0.9.2计算引擎

← cdh6.3.2集成tez0.9.2计算引擎→

最近更新
01
docker-compose部署openldap
12-30
02
drf中如何设置返回Serializers自定义字段
10-10
03
在admin中list_display如何展示外键字段
10-10
更多文章>
Theme by Vdoing | Copyright © 2017-2022 Yue.Wu | MIT License