博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop 搭建过程中的一些坑
阅读量:6903 次
发布时间:2019-06-27

本文共 1605 字,大约阅读时间需要 5 分钟。

俺是按照下面这篇文章进行搭建的:

说实话,上面这篇文章很好。几乎不用改。一步一步按照搭建,没有问题。

俺遇到的坑是:

  1. master连接不上slave.这可咋办。配置文件都没问题啊。

    解决方法: namenode经过多次格式化,产生了多个clusterID导致。(往后不敢随便格式化玩了)

    只要确保master的clusterID和slaveID一致,就能连上了。

    俺的路径是:master: hadoop273/hdfs/name/current/VERSION

          slave : hadoop273/hdfs/data/data/VERSION

    就是把VERSION里面的clusterID一样。其他都不用改。(layoutVersion也不用改。

    这篇文章末尾也有用:

    还有这篇:http://blog.csdn.net/longzilong216/article/details/20648387

  2. ===============================

    主机名的问题:/etc/hosts  和  /etc/sysconfig/network  里面,主机名要一致。

    俺这2个文件都改了,还是不认主机名。ping主机名都ping不通。俺不敢重启。于是

    hostname “主机名”,用一个命令临时生效。就通了。

  3. ==================================

    java,俺是自己安装的。从网上找的文章:

   安装完之后,就OK了。

    切记,java版本,和装hadoop那篇文章中的版本,要相应的对起来。我的意思是,名字要改,   比如我装的是jdk1.8.0_131.hadoop那篇文章装的是jdk1.8.0_101. 改一下文件夹名字,就行了。

4.===========================

文中的配置,别随便乱改。

hadoop 刚开始,我用root安装的。后来,为了让hadoop这个用户用。我就改了属组和属主。并hadoop273(文件夹)和java(文件夹)权限,全都777.

    chown -R hadoop:hadoop  hadoop273

    chmod -R 777 hadoop273

这下,hadoop可以用了。

后来,为了其他用户的权限分配问题。我又改了文件夹权限(改之前,先备份):

chmod -R 755 hadoop273

chmod -R 755 java

5.测试命令:

俺用的是(从别人那里抄来的):

运行示例程序:

先在hdfs上创建一个文件夹

./bin/hdfs dfs –mkdir /input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarrandomwriter input

就是上面这2条命令,就ok拉。randomwriter 这是个文件呢还是文件夹,我也不知道。我的系统上反正没有,但是敲这2条命令,就能测试出来,是真的。

6.ssh免密登录:

在启动的时候:

sbin/start-dfs.sh

sbin/start-yarn.sh

或者:sbin/start-all.sh

就这几条命令,每次都得输入密码。还输入4次。可烦人了。就算复制粘贴也还是烦人。

用下面这个连接,解决了我的问题:

把master的公钥拷贝到slave即可。master到slave上面,不用输密码。

反过来。slave到master上面,还得输入密码。

刚开始,我还以为,master上启动一遍集群,slave上面还得启动一遍。原来,只要在master上面启动了,slave上就自动启动了呀。哎哎,才明白。

本文转自 曾国藩_6868 51CTO博客,原文链接:http://blog.51cto.com/8184069/1936680

你可能感兴趣的文章
jQuery 名称冲突
查看>>
JavaMail
查看>>
centos6.8服务器配置之编译安装PHP、配置nginx
查看>>
ddddddd
查看>>
Android 开发之 ---- 底层驱动开发(一)
查看>>
分享到朋友圈实现
查看>>
SQL Server 用链接服务器 同步SqlServer与MySQL
查看>>
Android内存优化6 了解Android是如何管理App内存
查看>>
SpringBoot2 添加应用拦截器
查看>>
es删除文档或者删除索引
查看>>
swift可选值总结
查看>>
深入理解Java虚拟机06--虚拟机字节码执行引擎
查看>>
C# 委托和事件,简单示例说明问题
查看>>
『转载』转过来的Xpath语法
查看>>
编码:隐匿在计算机软硬件背后的语言
查看>>
SqlBulkCopy(批量复制)使用方法
查看>>
OracleHelper类
查看>>
UIImageView 浅析
查看>>
js in
查看>>
IE和FF 常见问题
查看>>