天问

Hadoop集群搭建

本环境在自己的dellpc上,通过visualbox虚拟出三个centos7虚拟机搭建而成。
注意:
Visualbox网络设置为 桥接方式
Centos7安装选择server no deskptop
磁盘大一点,每个设置至少50G左右。
安装主要分以下几个步骤:
1、创建用户组
groupadd hadoop  添加一个组
useradd hadoop -g hadoop  添加用户
2、jdk的安装

这里安装的版本是server-jre-7u21-linux-x64.gz,解压复制到/usr/java/

jdk安装好就要配置环境变量了,使用vi /etc/profile命令编辑添加如下内容:

JAVA_HOME=/usr/java/jdk1.7.0_21
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export  JAVA_HOME  PATH  CLASSPATH

配置好之后要用命令source /etc/profile使配置文件生效,这样jdk就安装完毕了。
安装完之后不要忘了将所有者设置为hadoop。

使用命令chown -R hadoop:hadoop java/

3.hadoop的安装

hadoop的版本是hadoop-0.20.2.tar.gz,也把它解压到/opt目录(免编译安装的软件放在这个目录)下面,改名为hadoop。

hadoop也要设置环境变量,使用vi /etc/profile命令编辑添加如下内容:

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

同样也要执行source /etc/profile使配置文件生效,然后执行命令使用命令chown -R hadoop:hadoop hadoop/将其所有者改为hadoop

4、修改地址解析文件/etc/hosts,加入

192.168.6.110 master
192.168.6.111 slave1
192.168.6.112 slave2
5、修改hadoop的配置文件

首先切换到hadoop用户,su hadoop

①修改hadoop目录下的conf/hadoop-env.sh文件
加入java的安装路径export JAVA_HOME=/opt/java/jdk
②把hadoop目录下的conf/core-site.xml文件修改成如下:

安装介绍:
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/ClusterSetup.html#Operating_the_Hadoop_Cluster
Web Interfaces
Once the Hadoop cluster is up and running check the web-ui of the components as described below:
Daemon Web Interface Notes
NameNode http://nn_host:port/ Default HTTP port is 50070.
ResourceManager http://rm_host:port/ Default HTTP port is 8088.
MapReduce JobHistory Server http://jhs_host:port/ Default HTTP port is 19888.

关闭防火墙:

博客地址:http://blog.yoqi.me/?p=546
扫我捐助哦
喜欢 0

这篇文章还没有评论

发表评论