ambari 离线安装 HDP-2.3 集群-白红宇

ambari 离线安装 HDP-2.3 集群

阅读量：6951 次

发布时间：2019-06-27

本文共 6517 字，大约阅读时间需要 21 分钟。

利用 ambari 安装 hadoop 集群是非常方便的。前端图形化，点点就搞定了。但是hadoop的配置还是要自己来定义的。

实验环境：

10.111.32.115 hdp115.hfln.com ambari-server

10.111.32.162 hdp115.hfln.com ambari-agent

10.111.32.163 hdp115.hfln.com ambari-agent

10.111.32.183 hdp115.hfln.com ambari-agent

32.115 做为 master 已经实现了与其他主机的名密钥登录了，这里 32.162 规划为 resourcemanager,所以也要实现与其他主机的名密钥登录。

下载离线安装所需的包文件。

# 这个是下载 ambari 的一个仓库文件，利用这个仓库文件可以从公网上下载 ambari-server 等相关包，这里因为有

ambari-2.1.0-centos6.tar.gz

这个包，一会做成自己本地源，所以如果你不下，自己写也是没问题的。

下面的 hdp.repo 也是如此。可下可不下。其他三个就是必须下。

[root@hdp115 hdp]# wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.0/ambari.repo[root@hdp115 hdp]# wget  http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.0.0/hdp.repo[root@hdp115 hdp]# wget  http://public-repo-1.hortonworks.com/ambari/centos6/ambari-2.1.0-centos6.tar.gz[root@hdp115 hdp]# wget  http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.0.0/HDP-2.3.0.0-centos6-rpm.tar.gz[root@hdp115 hdp]# wget -c http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz

这个下载地址可以尝试变换一下，比如你想下载 1.7 版的 ambari,就可以写成

[root@hdp115 hdp]# wget  http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz

有些太老的估计就下不了了。

2. 建立本地仓库，这里使用 httpd 来建立，安装启动httpd省略。解压三个包到 /var/www/html 目录下。

[root@hdp115 hdp]# tar xf ambari-2.1.0-centos6.tar.gz -C /var/www/html/[root@hdp115 hdp]# tar xf HDP-2.3.0.0-centos6-rpm.tar.gz -C /var/www/html/[root@hdp115 hdp]# tar xf HDP-UTILS-1.1.0.20-centos6.tar.gz -C /var/www/html/

## 修改 ambari.repo 与 hdp.repo 中的路径，使之与 yum源机器匹配，如上我的IP 为10.111.32.115,那么将

[root@hdp115 hdp]# cat ambari.repo #VERSION_NUMBER=2.1.0-1470[Updates-ambari-2.1.0]name=ambari-2.1.0 - Updatesbaseurl=http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.0gpgcheck=1gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1

##修改后的文件内容。要注意的是 ambari-2.1.0-centos6.tar.gz 解压后的名字为 ambari-2.1.0, 而 ambari.repo 中的路径没带版本号，所以还需要将 ambari-2.1.0 改名为: ambari

[root@hdp115 hdp]# cat ambari.repo#VERSION_NUMBER=2.1.0-1470[Updates-ambari-2.1.0]name=ambari-2.1.0 - Updatesbaseurl=http://10.111.32.115/ambari/centos6/gpgcheck=1gpgkey=http://10.111.32.115/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkinsenabled=1priority=1

3. 安装设置 ambari-server.

将 ambari.repo 复制到 /etc/yum.repos.d/ 目录下，安装 ambari-server。

[root@hdp115 yum.repos.d]# yum install ambari-server

安装好之后，配置ambari-server, 配置包括

1. 检查系统环境

2. 选择jdk, 这里已经自己部署了jdk_1.8.0_73, 选择他的，下载的巨慢。

3. 选择数据库，如果默认，将使用 postgresql.这里选择了自己安装mysql.

[root@hdp115 yum.repos.d]# ambari-server setupUsing python  /usr/bin/python2.6Setup ambari-serverChecking SELinux...SELinux status is 'disabled'Customize user account for ambari-server daemon [y/n] (n)? yEnter user account for ambari-server daemon (root):Adjusting ambari-server permissions and ownership...Checking firewall status...Checking JDK...[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7[3] Custom JDK==============================================================================Enter choice (1): 3WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.Path to JAVA_HOME: /usr/jdk64/jdk1.7.0_67Validating JDK on Ambari Server...done.Completing setup...Configuring database...Enter advanced database configuration [y/n] (n)? yConfiguring database...==============================================================================Choose one of the following options:[1] - PostgreSQL (Embedded)[2] - Oracle[3] - MySQL[4] - PostgreSQL[5] - Microsoft SQL Server (Tech Preview)==============================================================================Enter choice (1): 3Hostname (localhost): Port (3306): Database name (ambari): Username (ambari): Enter Database Password (bigdata): Configuring ambari database...Copying JDBC drivers to server resources...Configuring remote database connection properties...WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sqlProceed with configuring remote database connection properties [y/n] (y)? Extracting system views......ambari-admin-2.1.0.1470.jar...Adjusting ambari-server permissions and ownership...Ambari Server 'setup' completed successfully.

当选择 mysql 之后，他会提示你，要导入相关的 sql 文件，还会尝试用　jdbc 去连接数据库，所以要

1. 把 /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 导入数据库

2. 开通相关权限，按照上面的提示

3. 安装 jdbc

设置好之后就可以启动 ambari-server 了，启动方式与一般的服务启动一样。

[root@hdp115 ~]# /etc/init.d/ambari-server start

4. 利用 ambari 安装 HDP 集群

这个时候你可以看你的 8080 端口是否在监听了，尝试在浏览器打开此链接

登录ambary, user:admin, pass: admin

点击 launch install wizard ,开始创建一个集群

输入集群名称，此处为 beyond

选择版本号：注意下面的“Advanced Repository Options” 按钮，上面的选择会显示出下面所对应的版本，这里选择 HDP 2.3（因为我们下载的包文件就是2.3的）,下面的仓库选项，选择相应版本，并修改为自己的本地的仓库地址，注意要修改正确为自己定义的路径，这个修改好的仓库会被分发到各个节点的 /etc/yum.repos.d/ 目录下

这里添写要加入集群的机器的 fqdn ，还有将ambari 的私钥文件上传

这个步骤会在相关机器上安装ambar-agent来实现跟ambari-server 通信。--这里已经安装ambar-agent 成功。注：如果安装失败，在success 的地方会变成 Failed, 那么请点开查看错误原因。

一般来说，有以下几点：

1. ambari-server 主机与 agent 不能使用密钥文件登录，即无法联通。请手动检查是否可以无密码在远程机器上执行命令。

2.yum 安装时失败，到/etc/yum.repos.d/ 目录下检查，有没有ambari.repo 仓库文件。尝试用 yum clean all 清除过期的缓存，再次尝试安装。

3.此前安装过 ambari等相关的功能，没有清理干净，又重新安装的，那么检查一下残留文件，删除重试即可。

错误原因还是很详细的，要视情况而处理。

上图底下有个“ Click hereto see the warnings.” 按钮，打开后会显示主机上的各种警告信息，

虽然已经安装了 ambari－agent,可是还有其他可能导致安装集群失败的潜在不足，比如 ntp没做，或防火墙规则存在，虽然放行了 ssh，但是等安装hadoop集群，需要打开很多的tcp 端口，可能会导致错误发生。自己视情况检查吧（我这个环境因为安装过HDP,许多提示都是说已经安装了某包，有某些配置文件已存在等等）