Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书

Cloudera大数据平台环境搭建

（版）

版本 作者 发布日期 郭维忠 2018-03-10

目录

Cloudera大数据平台环境搭建..................................................... 错误!未定义书签。 （版） ......................................................................... 错误!未定义书签。 1. 基础环境 ................................................................... 错误!未定义书签。

. . . . . . . . . . . .

软件环境 ...................................................................... 错误!未定义书签。 配置规划 ...................................................................... 错误!未定义书签。 所需要的软件资源 .............................................................. 错误!未定义书签。 修改机器名（所有节点） ........................................................ 错误!未定义书签。 设置防火墙（所有节点） ........................................................ 错误!未定义书签。 配置免密码登录SSH ............................................................. 错误!未定义书签。 关闭SELINUX（所有节点） ....................................................... 错误!未定义书签。 修改Linux内核参数（所有节点） ................................................. 错误!未定义书签。 其他安装与配置（所有节点） .................................................... 错误!未定义书签。 配置NTP服务 .................................................................. 错误!未定义书签。 安装oracle （所有节点） ...................................................... 错误!未定义书签。 Mysql安装（主节点） ........................................................... 错误!未定义书签。

2. 安装CM .................................................................... 错误!未定义书签。

. . . . . . . .

传包，解包 .................................................................... 错误!未定义书签。 创建数据库 .................................................................... 错误!未定义书签。 创建用户 ...................................................................... 错误!未定义书签。 制作本地YUM源 ................................................................ 错误!未定义书签。 拷贝jar包 .................................................................... 错误!未定义书签。 修改cloudera-scm-agent配置 ................................................... 错误!未定义书签。 启动CM Server和Agent ......................................................... 错误!未定义书签。 访问CM ........................................................................ 错误!未定义书签。

3. 安装CDH ................................................................... 错误!未定义书签。

. . . .

登录后界面 .................................................................... 错误!未定义书签。 选择CM版本 ................................................................... 错误!未定义书签。 指定主机 ...................................................................... 错误!未定义书签。 选择CDH版本 .................................................................. 错误!未定义书签。

. . . .

出现 “主机运行状态不良”错误 ............................................. 错误!未定义书签。 检查主机正确性 ................................................................ 错误!未定义书签。 选择安装的服务 ................................................................ 错误!未定义书签。 角色分配 ...................................................................... 错误!未定义书签。 数据库设置 .................................................................... 错误!未定义书签。

.

测试连接报错： ............................................................ 错误!未定义书签。 群集设置 ...................................................................... 错误!未定义书签。

. .

开始安装 ...................................................................... 错误!未定义书签。 安装完成 ...................................................................... 错误!未定义书签。

警告信息： ............................................................. 错误!未定义书签。

4. 常见错误 ................................................................... 错误!未定义书签。

. .

初始化数据库错误： ............................................................ 错误!未定义书签。 未能连接到 Host Monitor ....................................................... 错误!未定义书签。

1. 基础环境

1.1. 软件环境

本文将介绍 离线安装CDH和Cloudera Manager过程，软件版本如下： NO. 1. 2. 3. 4. 5. 6. 软件名称 操作系统 JDK Clouder Manager 数据库 JDBC 版本 位 jdk-8u151-linux-x Mysql 1.2. 配置规划

本次安装共5台服务器，服务器配置及用途如下： NO. 1. 2. 3. 4. 5. 机器名称 node168 node169 node170 node171 node172 内网IP 配置 用途 主，CM，MysqlDB 从 从 从 从 8C/32Gb/1TB 8C/32Gb/1TB 8C/32Gb/1TB 8C/32Gb/1TB 8C/32Gb/1TB 1.3. 所需要的软件资源

1) JDK环境： JDK版本：

2) 下载地址：包： CM版本：

3) 下载地址：包 CDH版本：，

； ；

下载地址：

4) 连接jar包： jar包版本：， 下载地址：

1.4. 修改机器名（所有节点）

1) 修改机器名称 # hostnamectl set-hostname xxx 2)

sh/ root@node169:~ sh下，如果没有可以新建）： # cat >> ~/.ssh/authorized_keys 如果提示下面信息，则需要创建./ssh目录： -bash: /root/.ssh/authorized_keys: No such file or directory sh目录,再追加公钥内容 # mkdir ~/.ssh # cat >> ~/.ssh/authorized_keys 并设置authorized_keys的访问权限： # chmod 600 ~/.ssh/authorized_keys 测试：在node168点上执行ssh node169，正常情况下，不需要密码就能直接登陆进去了。 在node168节点出现下面表示成功登录node169节点：

以同样的方式将公钥拷贝至其他节点服务器上。

1.5. 关闭SELINUX（所有节点）

关闭linux SELINUX安全内核 # setenforce 0 （临时生效） 修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效） # vi /etc/selinux/config 内容增加：

SELINUX=disabled 重启后生效： # reboot 查看SELINUX 是否关闭： #sestatus

（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）

1.6. 修改Linux内核参数（所有节点）

为避免安装过程中出现的异常问题，首先调整Linux内核参数。 1) 设置swappiness，控制换出运行时内存的相对权重，Cloudera 建议将 swappiness 设置为 10：

1)

2) 3)

4) 5) 6)

7) 1) 2) 3) 4)

to root@localhost identified by 'root' with grant option; grant all on *.* to root@\"%\" Identified by \"root\"; flush privileges; exit;

此问题原因：

有些网上说是由文件句柄数引起，所以按照网上说明进行了修改：

在主节点上，修改/opt/文件：

//查看文件句柄数，显示1024，显然太小 # ulimit -n 1024 //修改 #vi /etc/security/ //在文件后加入下面内容： * soft nofile 100000 * hard nofile 100000 此步骤需要重启机器生效，可以设置完后再重启。

注：按照上面过程操作，但问题依然存在，后来通过用节中 “主机运行状态不良”故障问题解决办法，问题得到解决。