3.5 实训1 Hadoop搭建
1．实训目的
掌握Hadoop平台的安装和配置。
2．实训内容
搭建Hadoop平台的第一步，就是根据实际情况选择最合适的Hadoop版本。目前，由于Hadoop飞速发展，功能更新和错误修复在不断地迭代着，所以版本特别多，显得有些杂乱。结合功能和稳定性两方面，这里选择CDH5。该版本是目前生产环境中装机量较大的版本之一，涵盖了所有Hadoop版本的主要功能和模块，稳定且有很多有用的新特性。下载地址为https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.6.0.tar.gz。
Hadoop的运行环境有以下两种。
● Windows。虽然Hadoop社区目前已经支持Windows，但由于Windows操作系统本身不适合作为服务器操作系统，因此本书不介绍Windows下Hadoop的安装方式。
● Linux。Hadoop的最佳运行环境无疑是开源操作系统Linux。Linux的发行版本众多，常见的有CentOS、Ubuntu、RedHat等。本书选择的就是CentOS。
（1）安装虚拟机
1）进入VMware安装向导，如图3-12所示，单击“下一步”按钮。
2）选择自定义安装，进入“自定义安装”界面，如图3-13所示，单击“下一步”按钮。
图3-12 VMware安装向导
图3-13 “自定义安装”界面
3）进入“用户体验设置”界面，设置用户体验，单击“下一步”按钮，如图3-14所示。
4）进入“快捷方式”界面，选择创建快捷方式的位置，单击“下一步”按钮，如图3-15所示。
图3-14 “用户体验设置”界面
图3-15 “快捷方式”界面
5）准备工作完成，单击“安装”按钮，开始安装，如图3-16所示。
6）在安装过程中不需要用户执行任何操作，如图3-17所示。
图3-16 开始安装
图3-17 安装过程
7）单击“完成”按钮，退出安装向导，安装完成，如图3-18所示。
（2）新建虚拟机并安装CentOS
1）选择“自定义（高级）”单选按钮，进入新建虚拟机向导，单击“下一步”按钮，如图3-19所示。
图3-18 安装完成
图3-19 新建虚拟机向导
2）选择虚拟机硬件兼容性，单击“下一步”按钮，如图3-20所示。
3）安装客户机操作系统，单击“下一步”按钮，如图3-21所示。
图3-20 选择虚拟机硬件兼容性
图3-21 安装客户机操作系统
4）设置安装信息，单击“下一步”按钮，如图3-22所示。
5）命名虚拟机为“hadoop”，并选择安装位置，单击“下一步”按钮，如图3-23所示。
图3-22 设置安装信息
图3-23 命名虚拟机
6）配置处理器参数，单击“下一步”按钮，如图3-24所示。
7）给虚拟机分配内存，单击“下一步”按钮，如图3-25所示。
图3-24 配置处理器
图3-25 设置虚拟机内存
8）选择“使用网络地址转换（NAT）”单选按钮，为虚拟机添加网络，单击“下一步”按钮，如图3-26所示。
9）选择“LSI Logic（L）（推荐）”单选按钮，设置I/O控制器类型，单击“下一步”按钮，如图3-27所示。
10）选择“SCSI（S）（推荐）”单选按钮，设置磁盘类型，单击“下一步”按钮，如图3-28所示。
11）选择“创建新虚拟磁盘”单选按钮，单击“下一步”按钮，如图3-29所示。
图3-26 选择网络类型
图3-27 选择I/O控制器类型
图3-28 选择磁盘类型
图3-29 选择磁盘
12）设置“最大磁盘大小”为20GB，单击“下一步”按钮，如图3-30所示。
13）选择磁盘文件存储位置，单击“下一步”按钮，如图3-31所示。
图3-30 指定磁盘容量
图3-31 指定磁盘文件存储位置
14）单击“完成”按钮，虚拟机创建结束，如图3-32所示。
图3-32 创建完成
15）安装完成后，可以看到前面创建的hadoop虚拟机，设置用户名为“root”，如图3-33所示。
图3-33 设置用户名
（3）配置CentOS网卡
1）执行“vi/etc/sysconfig/network-scripts/ifcfg-eth0”命令编辑ifcfg-eth0网卡，如图3-34所示。
图3-34 输入编辑网卡命令
2）在该网卡内修改其IP地址、子网掩码及网关，如图3-35所示。
图3-35 设置IP地址
3）修改完成后，执行“service network restart”命令重启网卡，如图3-36所示。
图3-36 重启网卡
4）重启后，执行“ifconfig”命令查看网卡相关信息，如图3-37所示。
图3-37 查看网卡信息
5）执行“vi/etc/system/network”命令编辑network文件，如图3-38所示。
图3-38 输入编辑文件命令
6）进入CentOS系统名称修改界面，修改系统名称（HOSTNAME）为“hadoop”，如图3-39所示。
图3-39 修改系统名称
7）设置完成后，执行“reboot”命令重启虚拟机，如图3-40所示。
图3-40 重启虚拟机
8）执行“vi/etc/host”命令编辑hosts文件，如图3-41所示。
图3-41 输入编辑文件命令
9）进入绑定IP地址与主机名界面，输入要绑定的IP地址与主机名，如图3-42所示。
图3-42 输入要绑定的IP地址与主机名
（4）配置ssh无密码连接
1）执行“ssh-keygen”命令生成公钥。生成公钥后执行“ssh-copy-id 192.168.137.10”命令，将其转发至本机的authorized_keys列表，如图3-43所示。
图3-43 生成公钥并转发
2）使用SecureCRT工具上传JDK安装包至hadoop主机，为下一步安装JDK做准备，如图3-44所示。
图3-44 上传JDK安装包
（5）安装JDK与Hadoop环境
1）使用tar命令解压JDK安装包，如图3-45所示。
图3-45 解压JDK安装包
2）执行“vi/etc/profile”命令编辑profile文件，配置JDK环境变量，如JAVA_HOME和PATH，如图3-46所示。
3）执行“source/etc/profile”命令使profile文件立即生效，如图3-47所示。
图3-46 配置JDK环境变量
图3-47 使profile文件生效
4）执行“java-version”命令查看JDK安装结果，能看到已经安装成功，如图3-48所示。
图3-48 查看JDK安装结果
5）上传Hadoop安装包文件至虚拟机，如图3-49所示。
图3-49 上传Hadoop安装包
6）使用tar命令解压Hadoop安装包，如图3-50所示。
图3-50 解压Hadoop安装包
7）使用mv命令将解压后的Hadoop安装文件从上传目录移动至opt目录下，如图3-51所示。
图3-51 移动Hadoop安装文件
8）执行“vi/etc/profile”命令编辑profile文件，为Hadoop配置环境变量，如图3-52所示。执行“source/etc/profile”命令使profile文件立即生效。
图3-52 配置Hadoop环境变量
9）使用vi命令修改Hadoop配置文件，即hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves文件，如图3-53所示。
图3-53 修改Hadoop配置文件
① 修改hadoop-env.sh文件，在文件末尾追加环境变量语句。
② 修改core-site.xml文件，修改如下。
③ 修改hdfs-site.xml文件，修改如下。
④ 修改mapred-site.xml文件，修改如下。
⑤ 修改yarn-site.xml文件，修改如下。
⑥ 修改slaves文件，修改如下。
10）执行“hadoop namenode-format”命令格式化HDFS。最后执行“hadoop version”命令查看安装完成后的Hadoop，如图3-54所示。至此，Hadoop已经安装并配置完成。
图3-54 查看Hadoop安装信息