1.5.1、CDH 搭建Hadoop在安装之前(定制安装解决方案---使用内部包裹存储库)

使用内部包裹存储库

您可以通过托管内部存储库或手动将存储库文件复制到Cloudera Manager主机来为Cloudera Manager创建parcel存储库。

托管内部包裹存储库

要托管内部存储库,必须在Cloudera Manager主机可访问的内部主机上安装或使用现有Web服务器,然后将存储库文件下载到Web服务器主机。

安装Web服务器

存储库通常使用网络内主机上的HTTP进行托管。如果组织中已有Web服务器,则可以跳过下载和发布Parcel存储库

要安装的简单Web服务器是Apache HTTP Server。

安装Apache HTTP Server

您可能需要响应某些提示以确认您要完成安装。
OSCommand
RHEL compatible sudo yum install httpd
SLES sudo zypper install httpd
Ubuntu sudo apt-get install httpd

启动Apache HTTPD

OSCommand
RHEL compatible sudo service httpd start
SLES sudo service apache2 start
Ubuntu
sudo service apache2 start
 
下载和发布Parcel存储库
下载包裹和manifest.json 您的操作系统分发的文件来自:
  • CDH 5: Impala,Kudu,Spark 1和Search包含在CDH包裹中。
    • CDH - https://archive.cloudera.com/cdh5/parcels/
    • Accumulo - - https://archive.cloudera.com/accumulo-c5/parcels/
    • GPL附加功能 - https://archive.cloudera.com/gplextras5/parcels/
  • 用于CDH 5的Apache Spark 2的Cloudera发行版:
    • 确切的宗地名称取决于操作系统。你可以找到所有的包裹https://archive.cloudera.com/spark2/parcels/
  • Cloudera Navigator密钥受托服务器:
    • 转到Key Trustee Server 下载页面从“ 包裹”或“包裹”下拉菜单中选择“ 地块”,然后单击“立即下载”这将下载Key Trustee Server parcel和manifest.json 一个文件 名为.tar.gz文件。使用提取文件tar xvfz filename .tar.gz 命令。
  • Cloudera Navigator Key Trustee KMS和HSM KMS :( Cloudera Navigator HSM KMS包含在Key Trustee KMS包裹中)。
    • 转到Key Trustee KMS 下载页面从“ 包裹”或“包裹”下拉菜单中选择“ 地块”,然后单击“立即下载”这将下载Key Trustee KMS parcels和的manifest.json 一个文件.tar.gz文件。使用提取文件tar xvfz filename .tar.gz 命令。
  • Sqoop连接器:
    • https://archive.cloudera.com/sqoop-connectors/parcels/
  1. 移动 .parcel,  .sha1 manifest.json文件到Web服务器目录,并修改文件权限。例如:
    sudo mkdir -p /var/www/html/cloudera-parcels/cdh5/<cdh5_version>/
    sudo mv *.parcel* /var/www/html/cloudera-parcels/cdh5/<cdh5_version>/
    sudo mv manifest.json /var/www/html/cloudera-parcels/cdh5/
    sudo chmod -R ugo+rX /var/www/html/cloudera-parcels/cdh5/<cdh5_version>/
    用您的CDH版本 替换<cdh5_version>(例如,5.14.0)。移动文件并更改权限后,请访问http:// <web_server> / cloudera-parcels/cdh5/<cdh5_version>验证您是否可以访问包裹。如果您没有看到任何内容,则您的Web服务器可能已配置为不显示索引。

配置Cloudera Manager Server以使用托管存储库的宗地URL

  1. 使用以下方法之一打开宗地设置页面:
    • 导航栏
      1. 单击顶部导航栏或单击“ 主机”,然后单击“ 地块”选项卡。
      2. 单击“ 配置”按钮。
    • 菜单
      1. 选择管理 > 设置
      2. 选择类别 > 包裹
  2. 在“ 远程包裹存储库URL”列表中,单击添加符号以打开另一行。
  3. 输入宗地的路径。例如:http:// <web_server> / cdh5 / <cdh5_version>
  4. 单击“ 保存更改”以提交更改。

使用本地包裹存储库

要使用本地parcel存储库,请完成以下步骤:
  1. 打开Cloudera Manager Web UI并导航到Parcels页面。
  2. 选择“ 配置”并验证是否已设置“ 本地包裹存储库”路径。默认情况下,目录是 /选择/ Cloudera的/包裹回购
  3. 删除您未使用的任何远程包裹存储库URL,包括指向Cloudera存档的URL
  4. 将要使用的parcel添加到指定的本地parcel存储库目录中。
  5. 在命令行中,导航到本地parcel存储库目录。
  6. 为您添加的parcel创建SHA1哈希,并将其保存到名为的文件中 <parcel_name> .parcel.sha1
    例如,以下命令为parcel生成SHA1哈希 CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel
    sha1sum CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel | awk'{print $ 1}'> CDH-5.14.0-1.cdh5.14.0.p0.24-el7.parcel.sha1
  7. 将宗地和哈希文件的所有权更改为 Cloudera的供应链管理
    sudo chown cloudera-scm:cloudera-scm * .parcel。*
  8. 在Cloudera Manager Web UI中,导航到Parcels页面。
  9. 单击“ 检查新包裹”
  10. 出现新宗地时,下载,分发和激活宗地。
原文地址:https://www.cnblogs.com/xiqing/p/9645654.html