博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
[hadoop新实战4]hadoop完全分布式安装序列(支持ubuntu和redhat)
阅读量:5975 次
发布时间:2019-06-19

本文共 1869 字,大约阅读时间需要 6 分钟。

ubuntu redhat亲测可行,注意jdk一定要安装,只装jre会导致jps不可用,调试错误比较麻烦

一.jre的安装(环境变量配置最好配置root用户的环境变量)

1.将jre目录改为可执行,用户改为root
2.修改用户环境变量文件
vim .bash_profile
增加 :/usr/jre/bin
source .bash_profile
echo $PATH 是否有 刚添加的目录
是否java 有效果
二.ssh安装(linux一般安装有客户端,服务端redhat可能有,ubuntu一定没有)
1.redhat下
(1)测试是否安装了ssh service
ssh localhost或者rpm -qa|grep openssh
(2)redhat上去光盘里安装
rpm -ivh openssh-server-5.3p1-81.el6.i686
2.ubuntu下
sudo apt-get install openssh-server
3.生成秘钥对
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
2.ubuntu下
sudo apt-get install openssh-server
三.hadoop文件的配置
1.修改hadoop-env.sh
export JAVA_HOME=/usr/jre
2.修改xm11:core-site.xml
<property> 
<name>fs.default.name</name>   
<value>hdfs://master:9000</value>
</property>
3.修改xml2:mapred-site.xml
<property> 
<name>mapred.job.tracker</name>   
<value>master:9001</value>
</property>
4.修改xml3:hdfs-site.xml
<property> 
<name>dfs.data.dir</name>
<value>/root/hadoop/hdfsDir</value>
</property>
<property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmpDir</value>
</property> 
<name>dfs.replication</name>
<value>2</value>
</property>
5.修改masters和slaves文件
masters里面master
slaves里面加
slaver1
slaver2
四.重启复制到其他节点上
五.配置网络
1.修改主机名
(1)ubuntu下修改/etc/hostname这个文件,直接填写master
(2)redhat 修改/etc/sysconfig/network文件
NETWORKING=yes
HOSTNAME=master
2.查询IP,在/etc/host中配置
ifconfig
192.168.45.141 master
192.168.45.140 slaver1
192.168.45.139 slaver2
六.复制到其他机器
1.复制公钥到其他机器
scp ~/.ssh/id_rsa.pub root@slaver1:~/.ssh/
2.追加到authorized_keys文件中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
七、运行和验证
1.格式化hdfs
./hadoop namenode -format
2.打开hadoop
./start-all.sh
3.验证网站是否登录
 
注意如果用局域网的计算机访问发现端口被封应打开防火墙:
/sbin/iptables -I INPUT -p tcp --dport 50030 -j ACCEPT #开启50030端口
/etc/rc.d/init.d/iptables save #保存配置
/etc/rc.d/init.d/iptables restart #重启服务
查看端口是否已经开放
/etc/init.d/iptables status

转载于:https://www.cnblogs.com/laodiao/p/3541649.html

你可能感兴趣的文章
STM32下载方法
查看>>
JSP读取My SQL数据乱码问题的解决
查看>>
【TYVJ】1359 - 收入计划(二分)
查看>>
memcpy的使用方法总结
查看>>
内部类的应用
查看>>
JSP网站开发基础总结《六》
查看>>
poj2955Brackets(区间DP)
查看>>
Atitit.数据索引 的种类以及原理实现机制 索引常用的存储结构
查看>>
LeetCode: Surrounded Regions [130]
查看>>
java web mvc思想介绍
查看>>
Spring 一二事(8) - annotation 形式的 MVC
查看>>
hdu1010 dfs+路径剪枝
查看>>
K-th Number(第k大数)
查看>>
关于curl: (2) Failed Initialization
查看>>
Non-negative Partial Sums(单调队列)
查看>>
Android EditText禁止复制粘贴
查看>>
STM8不用手动复位进入自带Bootloader方法(串口下载)
查看>>
Unable to extract 64-bitimage. Run Process Explorer from a writeable directory
查看>>
如何使用ODBC搭配dsn链接数据库
查看>>
android 官方DrawerLayout的介绍和使用
查看>>