教學(xué)優(yōu)勢
曙海教育的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系。曙海集團的課程在業(yè)內(nèi)有著廣泛的美譽度和響亮的知名度。
秉承二十幾年積累的教學(xué)品質(zhì)，本課程以真實項目實戰(zhàn)為導(dǎo)向,授課工程師將會與您分享設(shè)計的全流程及工具的綜合使用技巧、經(jīng)驗。
Cloudera管理員培訓(xùn)課程
課程目標?
l??掌握Cloudera Manager管理集群的功能；
l??掌握故障排除、診斷和解決集群問題的能力；
l??理解并全面掌握通過Cloudera Manager對Hadoop集群的運維管理；
l??幫助Hadoop系統(tǒng)管理員準備好應(yīng)對實際運維中遇到的挑戰(zhàn)。
?
培訓(xùn)大綱?
|
課程內(nèi)容 |
|
▲????Apache Hadoop介紹 ●?????Hadoop介紹及優(yōu)勢 ●?????基本概念 ●?????Hadoop核心組件 ●?????實操練習：網(wǎng)絡(luò)配置 ▲????Hadoop集群安裝 ●?????集群管理方案 ●?????Cloudera Manager特征 ●?????Cloudera Manager安裝 ●?????CDH介紹及安裝 ●?????實操練習1：安裝Cloudera ? Manager服務(wù) ●?????實操練習2：創(chuàng)建Hadoop集群 ▲????Hadoop分布式文件系統(tǒng)（HDFS） ●?????HDFS特性 ●?????讀寫文件 ●?????NameNode內(nèi)存注意事項 ●?????HDFS安全簡介 ●?????HDFS web UI ●?????使用hadoop 文件 ? shell ●?????實操練習：使用HDFS |
|
▲????YARN上的MapRduce和Spark ●?????計算平臺在hadoop中扮演的角色 ●?????YARN（集群資源管理器）的介紹 ●?????MapRduce概念介紹 ●?????Spark概念介紹 ●?????在YARN上運行計算框架 ●?????通過web UIs和shell探索YARN應(yīng)用程序 ●?????YARN應(yīng)用程序日志介紹 ●?????實操練習：運行YARN應(yīng)用程序 ▲????Hadoop配置及服務(wù)運行日志 ●?????Cloudera Manager的配置管理機制 ●?????定位配置參數(shù)及更改應(yīng)用配置 ●?????管理角色實例及添加服務(wù) ●?????配置HDFS服務(wù) ●?????配置Hadoop Daemon日志 ●?????配置YARN服務(wù) ●?????實操練習：探索hadoop配置及守護程序日志 ▲????向HDFS導(dǎo)入數(shù)據(jù) ●?????使用Flume從外部數(shù)據(jù)源實時導(dǎo)入數(shù)據(jù) ●?????使用Sqooq從關(guān)系數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù) ●?????REST接口介紹 ●?????導(dǎo)入數(shù)據(jù)的最佳實踐 ●?????實操練習1：Flume的使用 ●?????實操練習2：使用Sqooq導(dǎo)入數(shù)據(jù) |
|
▲????Hadoop集群規(guī)劃 ●?????總體規(guī)劃考慮因素 ●?????硬件選擇 ●?????虛擬化選項 ●?????云部署選項 ●?????網(wǎng)絡(luò)考慮因素 ●?????節(jié)點配置 ▲????Hive、Impala及Pig的安裝及配置 ●?????Hive介紹 ●?????Impala介紹 ●?????Pig介紹 ●?????Cloudera搜索 ●?????實操練習：使用Hive和Impala查詢HDFS ▲????Hadoop客戶端及Hue ●?????Hadoop客戶端介紹 ●?????安裝和配置Hadoop客戶端 ●?????安裝和配置Hue ●?????使用Hue進行身份驗證及授權(quán) ●?????實操練習：使用Hue來控制hadoop用戶訪問 ▲????集群高級配置 ●?????高級配置參數(shù) ●?????Hadoop端口配置 ●?????HDFS機柜感知配置 ●?????HDFS高可靠性配置 ●?????實操練習：配置HDFS的高可靠性 |
|
▲????Hadoop安全 ●?????Hadoop安全的重要性 ●?????Hadoop的安全性概念 ●?????Kerberos簡介及工作原理介紹 ●?????使用Kerberos保護Hadoop集群 ●?????其他安全特性 ▲????資源管理 ●?????使用靜態(tài)服務(wù)資源池配置cgroups ●?????公平調(diào)度器 ●?????配置動態(tài)資源池 ●?????YARN內(nèi)存和CPU設(shè)置 ●?????Impala查詢調(diào)度 ●?????實操練習：Fair Sheduler的使用 ▲????集群維護 ●?????檢查HDFS狀態(tài) ●?????集群間的數(shù)據(jù)拷貝 ●?????添加和移除Cluster節(jié)點 ●?????集群數(shù)據(jù)的負載平衡 ●?????創(chuàng)建目錄快照 ●?????集群更新升級 ●?????實操練習1：驗證集群的自我修復(fù)功能 ●?????實操練習2：創(chuàng)建HDFS快照 ▲????集群監(jiān)控及排錯 ●?????Cloudera Manager監(jiān)控特性 ●?????監(jiān)控Hadoop集群 ●?????Hadoop集群的排錯 ●?????實操練習1：配置Email警告 ●?????實操練習2：排錯挑戰(zhàn) |
?
