javabbs开源论坛系统

功能强大、开源、代码通俗易懂、注释详细、面向二次开发友好!

FreeCMS团队又一力作!打造更好的中国开源jsp java 论坛系统!

javabbsV1.2已发布!



在线演示 立即购买 下载用户手册
客服QQ: 124812878 联系电话: 18339991503 Email: freeteam@foxmail.com
点击查看FreeCMS商业版开源CMS系统 点击查看shop4j开源java商城系统

Hadoop编程起步 -

加入收藏夹】     【打印】     【关闭】 来源: 日期:2017-06-04 04:00:02 点击量: 收藏

一、与Eclipse集成

1、Hadoop开发包下载

     A、官网:http://hadoop.apache.org/#Download+Hadoop

           2016-03-25  更新版本为2.6.0,配置方法一样。

     B、我的共享目录:\\${共享盘}\share\yzc\Hadoop-dev


      C、Eclipse插件下载(hadoop-eclipse-plugin-x.x.x.jar)

2、Eclipse集成Hadoop开发配置

      A、解压安装与插件:

            Hadoop、Eclipse的zip包,统一归整好目录,将hadoop-eclipse-plugin-x.x.x.jar插件Jar包复制到Eclipse插件目录D:\eclipse\plugins\下。如下图所示:

        注意:解压Hadoop后,将D:\hadoop-2.5.1\bin\hadoop.dll文件复制到C:\Windows\System32\目录下。

       B、配置Hadoop环境变量:

             桌面 »» 右击【我的电脑】»» 选择【属性】 »» 左边导航【高级系统设置】 »» 【高级】选项卡的【环境变量(N)...】 »»  设置【系统变量(S)】。添加或编辑以下变量:

             HADOOP_HOME        »          D:\hadoop-2.5.1                                     ----Hadoop的安装解压目录

             Path                           »           %HADOOP_HOME%\bin;......                ----编辑Path配置,在最前面增加Hadoop bin的配置,以“;”分隔作为该项结束


                系统的环境变量配置说明:

                      (A)、没有权限配置的,可联系IT部的人(xxx)使用管理员权限,或通过idesk平台设置 ;

                      (B)、配置完环境变量后,需要重启机器才能生效。

     C、启动Eclipse,配置Hadoop HDFS:

            Eclipse菜单栏,【Window】 »» 【Preferences】 »» 【Hadoop Map/Reduce】 »» 【Browse...】 »» 浏览到Hadoop的解压安装目录。如下图所示:


              配置Hadoop HDFS:打开【Map/Reduce Locations】视图,在空白处右击菜单,选择【New Hadoop location...】打开配置窗口,配置Name Node的Host和相关的端口号,点击【Finish】保存。如下图所示:


           前提是了解Hadoop的集群环境,找到Name Node的配置文件。下面以我们开发环境为例,在Hadoop安装配置目录/etc/hadoop/conf/下有以下配置文件:

                  core-site.xml                              8020                            nameNode.fs.defaultFs.RPC                         namenode RPC交互端口,HDFS文件操作

                  hdfs-site.xml                              50020                          dfs.dataNode.ipc.address                              datanode的IPC服务器地址和端口

                  mapred-site.xml

           配置中的端口均采用如图默认配置值即可,点击【Finish】,切换到【Map/Reduce】窗口模式,就会在左边的【Project Explorer】区域查看到DFS Locations菜单下有刚在配置的Name Node的HDFS文件目录结构,以及右键菜单提供相应的文件操作。如下图所示:



右键菜单提供文件操作:   

 

二、Map / Reduce程序开发

1、构建Maven项目,加入依赖

pom.xml依赖Jar Collapse source


上一条

下一条

相关新闻
自定义表单