virtual-hadoop-cluster, 运行CDH5的虚拟Hadoop集群

分享于 

3分钟阅读

GitHub

  繁體 雙語
A virtual Hadoop cluster running CDH5
  • 源代码名称:virtual-hadoop-cluster
  • 源代码网址:http://www.github.com/DandyDev/virtual-hadoop-cluster
  • virtual-hadoop-cluster源代码文档
  • virtual-hadoop-cluster源代码下载
  • Git URL:
    git://www.github.com/DandyDev/virtual-hadoop-cluster.git
    Git Clone代码到本地:
    git clone http://www.github.com/DandyDev/virtual-hadoop-cluster
    Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/DandyDev/virtual-hadoop-cluster
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
    
    一个工作的虚拟Hadoop集群

    使用这些文件,你可以在真实的分布式方式下设置和供应一个本地的虚拟Hadoop集群,以尝试Hadoop和相关的。 它运行最新的Cloudera发行版: CDH5.它还允许你练习使用 Cloudera管理器插件安装Hadoop栈。 如果你寻找完全自动化的安装,没有用户干预,请查看其他。 我特别是为了创建一个理想的环境来完成管理器的工作。 这样可以自由地安装需要的服务,并更改配置所需的配置。

    本自述文件描述如何使用Cloudera管理器启动群集并运行群集。 有关如何安装整个Hadoop堆栈的详细说明,你可以使用本指南。

    规格

    4节点的群集 conists:

    • 拥有 4GB 个内存的主 node ( 在安装Hadoop服务后运行 NameNode。色相和 ResourceManager 等等 )
    • 3 个带 2GB 个内存的奴隶( 运行 datanode )

    你可以看到,至少需要 10GB 个空闲内存才能运行这里操作。 如果你减少了,你可以尝试从Vagrantfile中删除一台机器。 这将导致性能的下降 !

    用法

    根据计算机的硬件,安装可能需要 15到 25分钟。

    首先安装 VirtualBoxVagrant。

    安装Vagrant的 Hostmanager插件插件。

    $ vagrant plugin install vagrant-hostmanager

    克隆这里存储库。

    $ git clone https://github.com/DandyDev/virtual-hadoop-cluster.git

    提供裸群集它将要求你输入密码,以便在浏览器中轻松访问你的/etc/hosts 文件。 它使用了 Vagrant Hostmanager插件来做这个。

    $ cd virtual-hadoop-cluster
    $ vagrant up

    转到管理器,并按照安装说明进行操作。 有关如何执行该操作的详细说明,可以使用本指南。

    对你的Hadoop集群有乐趣。


    Virtual  集群  Hadoop  
    相关文章