about云開發

 找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

掃一掃,訪問微社區

打印 上一主題 下一主題

Cloudera Manager (centos)安裝詳細介紹

[復制鏈接]
跳轉到指定樓層
樓主
nettman 發表于 2014-9-16 17:26:40 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
本帖最后由 pig2 于 2014-9-19 15:09 編輯

這里已經有很多關于CDH的文章,此篇雖然不是把所有的問題都描述了。但是整體的過程還算描述的比較清楚。

問題導讀:
1.安裝需要做哪些準備?
2.如何安裝CM?
3.如何通過CM安裝CDH?
4.CM及CDH安裝的過程都包含什么?



相信通過這篇文章大家都對Cloudera Manager及CDH安裝有一個整體的認識

目 錄
1           準備工作...........................................................................................................................................3
1.1       說明...............................................................................................................................................3
1.2       集群網絡環境介紹..........................................................................................................................3
2           環境搭建...........................................................................................................................................5
2.1       設置IP...........................................................................................................................................5
2.2       設置hosts......................................................................................................................................5
2.3       關閉防火墻....................................................................................................................................6
2.4       關閉SElinux....................................................................................................................................8
2.5       設置機器名....................................................................................................................................8
3           ClouderaManager安裝................................................................................................................... 11
3.1       下載Cloudera Manager安裝文件................................................................................................... 11
3.2       下載Cloudera Manager所需的rpm包............................................................................................ 11
3.3       安裝rpm文件............................................................................................................................... 11
3.4       安裝CM....................................................................................................................................... 11
3.5       登錄CM....................................................................................................................................... 12
4           ClouderaManager配置及本地源配置.............................................................................................. 13
4.1       配置config.ini文件........................................................................................................................ 13
4.2       配置本地源.................................................................................................................................. 14
5           Hadoop及其組件安裝......................................................................................................................17
5.1       選擇Cloudera版本........................................................................................................................ 17
5.2       選中受管理的主機........................................................................................................................ 17
5.3       選擇安裝方式(Cloudera推薦使用Parcel)................................................................................... 18
5.4       把Parcel分配到主機..................................................................................................................... 18
5.5       選擇服務...................................................................................................................................... 19
5.6       測試數據庫連接........................................................................................................................... 20
5.7       等待所有服務啟動........................................................................................................................ 20

6           向集群增加節點............................................................................................................................... 22
6.1       添加主機...................................................................................................................................... 22
6.2       輸入IP或主機名........................................................................................................................... 23
6.3       提供SSH登錄憑據........................................................................................................................ 24
6.4       安裝............................................................................................................................................. 24




使用Cloudera Manager安裝Hadoop
運行環境軟硬件環境l  主機操作系統:Windows 64 bit,雙核4線程,主頻2.2G,8G內存
l  虛擬軟件:VMware®Workstation 9.0.0 build-812388
l  虛擬機操作系統:CentOs 64bit,單核,2G內存
l  JDK:1.7.0_45 64 bit
l  Hadoop:2.2.0



集群網絡環境集群包含三個節點:1個namenode,1個datanode,節點之間局域網連接,可以相互ping通。節點IP地址和主機名分布如下:
l  192.168.188.141  hadoo1 (namenode))
l  192.168.188.139  hadoo2 (datanode01)
l  192.168.188.140  hadoo3 (datanode03)
所有節點均是CentOS系統,防火墻iptables均禁用

環境搭建
本集群分為三個節點,先安裝節點hadoop1(192.168.188.141),完成2.1~2.6步驟后,在步驟2.7中復制虛擬機并命名為hadoop2(192.168.188.139)和hadoop3(192.168.188.140)。


設置IP1.    點擊System-->Preferences-->Network Connections,如下圖所示:




2.    刪除原來的連接信息,新建一個“”連接,設置該連接為手工方式,設置如下信息:
      IP地址: 10.88.147.221
      子網掩碼: 255.255.255.0
      網關:     10.88.147.1
      DNS:    10.*.*.* (使用DNS上網需要設置)



3.    在命令行中查看設置的IP地址信息,如果不能夠正確可以在執行2.5重啟機器后再次確認:





設置Host文件1.    編輯/etc/hosts文件,設置IP地址與機器名的映射,設置信息如下:
l     10.88.147.141 hadoop1.localdomain
l    10.88.147.139 hadoop2.localdomain
l    10.88.147.140 hadoop2.localdomain






2.    使用如下命令對網絡設置進行重啟
sudo /etc/init.d/network restart


3.    驗證設置是否成功



關閉防火墻
在Hadoop安裝過程中需要關閉防火墻和SElinux,否則會異常

1.    service iptables status 查看防火墻狀態,如下所示表示iptables已經開啟




2.    使用如下命令關閉iptables,執行該命令后重啟機器生效
chkconfig iptables off


關閉SElinux1.    使用getenforce命令查看是否關閉





2.    修改/etc/selinux/config 文件
將SELINUX=enforcing改為SELINUX=disabled,執行該命令后重啟機器生效




設置機器名以root用戶登錄,使用 vi/etc/sysconfig/network 打開配置文件,修改主機名稱為hadoop1




復制虛擬機關閉機器,復制當前節點兩份,分別命名為:hadoop2和hadoop3


SSH無密碼驗證配置(這一步可省略)
3.    在三個節點中使用ssh-keygen -t rsa生成私鑰和公鑰;





4.    在三個節點中分別把公鑰命名為authorized_keys_hadoop1、authorized_keys_hadoop2、authorized_keys_hadoop3;





5.    把兩個從節點的公鑰使用scp authorized_keys_hadoop2 [email protected]:/home/jan/.ssh 命令傳送到hadoop1節點的/home/jan/.ssh文件夾中;







6.    把三個節點的公鑰信息保存到authorized_key文件中

使用cat authorized_keys_hadoop1 >> authorized_keys命令





7.    把該文件分發到其他兩個從節點上
使用scp authorized_keys [email protected]:/home/jan/.ssh把密碼文件分發出去







8.    測試ssh免密碼登錄是否生效





Cloudera Manager安裝
下載Cloudera Manager安裝文件
Cloudera Manager的可以從如下網址獲得:
這里選擇Cloudera Manager 最新版5.0.1

下載Cloudera Manager所需的rpm包
下載網址為:

安裝rpm文件
l 將下載的rpm包放入文件夾rpm(文件夾名隨意)
l cd  ./rpm(進入rpm目錄)
l yum localinstall –-nogpgcheck  *.rpm(安裝rpm包)

3.4 安裝rpm文件l 進入cloudera-manager-installer.bin的下載目錄
l chmod u+x cloudera-manager-installer.bin(給下載的bin文件權限)
l 執行 ./cloudera-manager-installer.bin(大約十分鐘左右)

3.5登錄CM瀏覽器輸入localhost:7180初次登錄 用戶名:admin 密碼:admin



Cloudera Manager文件配置及本地源配置
配置config.ini文件
修改主機名
修改前為:localhost   修改后為:localhost.localdomain






本地源配置
Parcel的可以從如下網址獲得,下載.parcel文件和manifest.json文件:

因為這里用的是CentOS6.5,所以選擇CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.0.1/CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel

注意:Parcel文件對應不同的系統版本


l  把以下載的.parcel文件和manifest.json文件拷貝到/opt/cloudera/parcel-repo/文件夾下
l  新建文件命名為:CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
l  打開manifest.json文件查看CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel對應的編號,并拷貝到CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha文件中

以下是manifest.json中CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel對應的編號,這里是:ec68971d2969a5a31e720a2a79ce7a7c1d38e397
{
           "parcelName":"CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel",
           "components": [
                {
                   "pkg_version": "0.7.0+cdh5.0.1+0",
                   "pkg_release": "1.cdh5.0.1.p0.30",
                   "name": "bigtop-tomcat",
                   "version": "6.0.37-cdh5.0.1"
                },
                {
                   "pkg_version": "0.9.0+cdh5.0.1+23",
                    "pkg_release":"1.cdh5.0.1.p0.25",
                   "name": "crunch",
                   "version": "0.9.0-cdh5.0.1"
                },



              .........


                {
                   "pkg_version": "0.9.0+cdh5.0.1+8",
                   "pkg_release": "1.cdh5.0.1.p0.25",
                   "name": "whirr",
                   "version": "0.9.0-cdh5.0.1"
                },
                {
                   "pkg_version": "3.4.5+cdh5.0.1+30",
                    "pkg_release":"1.cdh5.0.1.p0.31",
                   "name": "zookeeper",
                   "version": "3.4.5-cdh5.0.1"
                }
            ],
           "replaces": "IMPALA, SOLR, SPARK",
            "hash":"ec68971d2969a5a31e720a2a79ce7a7c1d38e397"
        }

l  現在本地源已配好,總之parcel-repo文件中包含一下三個文件:
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel
CDH-5.0.1-1.cdh5.0.1.p0.47-el6.parcel.sha
Manifest.json

l  重啟系統


Hadoop及其組件安裝選擇Cloudera版本


選中受管理的主機




選擇安裝方式(Cloudera推薦使用Parcel)




把Parcel分配到主機









添加服務



測試數據庫連接



等待所有服務開啟等待所有服務開啟,時間可能會有點長









向集群增加節點增加主機



輸入IP或主機名





提供SSH登錄憑據



安裝







注:本資料所有省略界面,直接點擊繼續即可

歡迎加入about云群425860289432264021 ,云計算愛好者群,關注about云騰訊認證空間
板凳
landylee 發表于 2014-9-29 16:13:59 | 只看該作者
夠詳細,,,,,頂起
6#
st__唐衣。㈨ 發表于 2015-10-21 09:08:26 | 只看該作者
樓主你好,我到一點問題。
安裝到3.5步驟時、 執行./cloudera-manager-installer.bin
就會提示我jdk安裝失敗,log文件中的信息為:

Loaded plugins: product-id, refresh-packagekit, subscription-manager
This system is not registered to Red Hat Subscription Management. You can use subscription-manager to register.
http://archive.cloudera.com/cm4/ ... epodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - "Couldn't resolve host 'archive.cloudera.com'"
Trying other mirror.
Error: Cannot retrieve repository metadata (repomd.xml) for repository: cloudera-manager. Please verify its path and try again

請問這個是我操作出現問題了么?
7#
NEOGX 發表于 2015-10-21 19:10:57 | 只看該作者
st__唐衣。㈨ 發表于 2015-10-21 09:08
樓主你好,我到一點問題。
安裝到3.5步驟時、 執行./cloudera-manager-installer.bin
就會提示我jdk安裝 ...

Couldn't resolve host 'archive.cloudera.com'"
這個不能解析,確保能上網
修改下dns
nameserver 8.8.8.8
歡迎加入about云群371358502、39327136,云計算愛好者群
8#
st__唐衣。㈨ 發表于 2015-10-26 09:21:32 | 只看該作者
NEOGX 發表于 2015-10-21 19:10
Couldn't resolve host 'archive.cloudera.com'"
這個不能解析,確保能上網
修改下dns

安裝這個還需要我的虛擬機能夠上網么?
9#
caicai 發表于 2015-10-30 15:09:47 | 只看該作者
數據你們有嗎
10#
pianai 發表于 2015-11-1 13:23:32 | 只看該作者
支持樓主!頂頂頂!!!!
您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

關閉

推薦上一條 /3 下一條

QQ|小黑屋|about云開發-學問論壇|社區 ( 京ICP備12023829號 )

GMT+8, 2019-8-18 17:44 , Processed in 1.281250 second(s), 34 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

© 2018 Comsenz Inc.Designed by u179

快速回復 返回頂部 返回列表
排球比赛场地