Hadoop-2.8.0 开发环境搭建(Mac)

Hadoop是一个由 Apache基金会开发的分布式系统架构,简称 HDFS,具有高容错性、可伸缩性等特点,并且可以部署在低配置的硬件上;同时,提供了高吞吐量的数据访问性能,适用于超大数据集的应用程序,以及通过集群拓扑高效快速的处理数据的能力。

本文主要介绍一下 Hadoop的开发环境搭建,平台是 Mac系统。

下载源码

在搭建环境之前,需要先下载 hadoopbinary,可以把 source也下载下来,方便以后阅读。下载后进行解压:

[/crayon]

配置hadoop

hadoop的配置稍许麻烦,暂时没有一键化配置的功能;另外, hadoop是基于 java开发的,所需需要安装 java开发环境,如果没有安装,请参考其它资料先安装 java开发环境。设置好 java开发环境后,再设置 hadoop的开发环境。

hadoop的配置文件主要都在 etc/hadoop目录下,可以配置 hdfsyarnmapreduce等,下面具体介绍:

1. 添加hadoop环境变量

添加的方式很多,可以修改系统级的文件,如: /etc/bashrc/etc/profile,也可以修改当然用户的文件,比如: ~/.bash_profile(shell用的是bash)、 ~/.zshrc(shell用的是zsh),添加如下代码即可

[/crayon]

配置完成后,需要设置其生效,安装 zsh的配置设置:

[/crayon]

设置完成后,如果出现下面信息,表示 hadoop开发环境变量设置好了

[/crayon]

2. 修改hadoop-env.sh

直接设置 JAVA_HOME的路径,不要用 $JAVA_HOME代替,因为 hadoop对系统变量的支持不是太好

[/crayon]

3. 修改core-site.xml

设置 hadoop的临时目录及文件系统,其中 localhost:9000表示本地主机,如果是远程主机,则需要把 localhost修改为相应的 IP地址,如果填写远程主机的域名,则需要到 /etc/hosts文件中做 DNS映射

[/crayon]

4. 配置hdfs-site.xml

由于是一台 Mac电脑,所以数据的副本设置为 1,默认是 3

[/crayon]

5. 配置mapred-site.xml

由于 hadoop的根目录下的 etc/hadoop目录下没有 mapred-site.xml文件,所以需要创建该文件,但是我们可以直接把 etc/hadoop目录下的 mapred-site.xml.template文件重命名为 mapred-site.xml,然后配置数据处理的框架为 yarn

[/crayon]

6. 配置yarn-site.xml

配置数据处理框架 yarn

[/crayon]

启动hadoop

配置完 hadoop后,就可以启动 hadoop

1. 启动namenode

[/crayon]

如果出现如下图片提示,表示 namenode启动成功

图1

需要注意的是,如果有错误,请先检查是不是 hadoop安装包是 32-bit,而计算机系统是 64-bit,造成不匹配

2. 启动hdfs

启动 hdfs,有可能需要输入 3次密码

[/crayon]

如果出现如下提示,表示 hadoop无法远程登录主机,需要开放权限

图2

具体开放权限的步骤如下,先到系统设置里的共享里,然后允许远程登录,最后添加当前的用户即可:

图3

图4

如果不想每次启动都输入 3次密码,可以添加 ssh的公钥到 authorized_keys文件中

[/crayon]

3. 启动yarn

启动数据处理 mapreduce框架 yarn

[/crayon]

如果执行 jps命令出现如下提示,表示 hadoop启动完成

图5

4. 浏览器查看hadoop

我们也可以通过浏览器查看 hadoop的详细信息,打开链接:

[/crayon]

然后在如下界面,我们就可以查看 hadoop的具体信息了

图6


hadoop的开发环境搭建如上,如有不足之处,欢迎指出,共同进步

热心留言

电子邮件地址不会被公开。