单机基于虚拟机搭建分布式环境

最近结束了学习的准备阶段,主要是环境的搭建和需要用到组件的学习。

师兄进行了总结,搬运过来并整理一下,用作以后查看。

1.Hadoop伪分布式环境搭建

  一开始我们是打算用自己的笔记本开虚拟机进行试验的,所以这一步仅做记录

  内容有:

    准备linux环境

    安装jdk

    安装hadoop

  链接如下: https://www.cnblogs.com/ltolstar/p/9670553.html

  接下来是进行基于完全分布式的环境搭建,首先要解决的问题就是ssh的免密登录

2.SSH远程登录的密钥验证授权机制

  

  链接与操作如下: https://www.cnblogs.com/ltolstar/p/9675055.html

  另外copy那一步操作用ssh-copy-id 的命令更简单一点,问题不大

其实完全分布与伪分布的区别不大,前面的工作都相同,最后做好ssh密钥的通信就可以,这方面网上教程很多

另外还有一点就是要修改各个节点的hostname和hosts,hostname就是本机的名字,hosts中要添加所有节点的hostname和ip地址(所有节点都要修改)

原文地址:https://www.cnblogs.com/1113127139aaa/p/9883564.html