主題

內容見要

海量數據處理系統

的架構設計

?

這個部分主要講解海量數據處理的架構設計，針對海量數據的問題設計海量數據的架構解決方案。

·?海量數據處理的系統場景

·?大數據時代的數據架構解決方案

·?海量數據處理的架構匯總

·?8種海量數據處理的架構設計比較

·?HBase在復雜數據體系中的位置

·?HBase如何與其他海量數據處理系統協同

·?分布式系統架構的海量數據處理設計

·?海量數據處理設計

典型案例分析：結合一個500強實時數據系統的實例案例進行分析，詳細分析海量數據處理的架構設計

NoSQL的實踐應用

HBase與其他NoSQL的共存及其主要應用場景分析

·?NoSQL綜述解決的實際問題

·?關系數據庫暴露的問題

·?High performance并發要求

·?Huge Storage的存取

·?High Scalability的服務器分布要求

·?High Availability的服務器健壯要求

·?關系型數據庫失效的場景

·?NoSQL與關系型數據庫設計理念比較

·?HBase與關系型數據庫的協作

·?HBase的優劣及其與關系型數據庫的差異與區別

·?NoSQL設計模型分析

·?K-V模型的Column設計

·?Document模型的B Tree設計

·?Object模型的基于Object數據訪問設計

·?NoSQL實例分析

·?Apache Hbase架構解析

·?Facebook Cassandra架構解析

·?Google BigTable架構解析

·?NoSQL中Memcache與Redis的應用場景

·?NoSQL中MongoDB的應用場景

·?NoSQL中Hadoop, Spark的應用場景

·?主流NoSQL的產品差異比較

·?綜合應用NoSQL的解決方案處理復雜環境數據高負載，高并發， 高性能的數據體系

·?HBase的應用場景實踐解析及其解決的業務問題

o?海量數據寫入?

o?消息類（類似Facebook的message）

o?Schema-free?

o?LOG-Append類的業務

o?大表的復雜/多維度索引

o?分析類

o?大批量讀取

·?HBase的數據場景實踐解析

o?HBase表數據量的范圍

o?HBase的數據操作類別

o?HBase的讀寫場景

o?HBase的排序場景

o?HBase不適宜的技術場景

典型案例分析：結合一個500強實時數據采集系統的實例案例進行分析，詳細分析NoSQL的綜合開源架構應用多種NoSQL的產品集合應用

典型案例分析：結合一個大型互聯網系統的實例案例進行分析，詳細分析HBase的主要應用場景及其解決的業務問題

Hadoop作為HBase的重要基石-HBase的存儲架構

?

·?文件存儲-HDFS

·?HDFS-工作原理

·?分布式Hadoop HDFS的集群搭建與部署

·?HDFS核心架構分析

·?Hadoop HDFS讀/寫文件快速解析

·?HBase與分布式Hadoop HDFS的關系

·?如何基于Hadoop HDFS構建HBase

·?基于Hadoop HDFS的HBase存儲模型

·?HBase的三層索引結構

·?HBase的Row Base設計思想

·?HBase存儲的邏輯視圖與物理視圖

·?HBase表的Row key鍵、Column Family列族、Cell qualifier列族修飾符（列）、Timestamp時間戳、Region區域、HBase鎖 解析

·?HBase物理存儲模型的核心架構

·?HRegin與HTable的關系及其核心架構分析

·?HFile格式分析

·?HFile的6個組成部分

·?HLog?分析

·?三層B+樹的擴展LSMTree

·?Compact與Splite對性能的影響

·?如何優化HBase的存儲

課堂演練：學員搭建一個基本的HBase通過HBase的文件體系， 了解HBase的存儲過程，并針對不同業務場景嘗試優化HBase存儲

HBase集群架構搭建及實踐案例沙盤演練

·?HBase版本介紹與選擇

·?HBase部署實踐

·?系統環境配置

·?HBase進程分布規劃與啟動

·?HBase Region Server

·?基于HBase的命令總結

·?HBase高階使用操作

·?HBase集群架構搭建方法

·?HBase集群架構性能管理

·?去中心化的HBase單點問題改進

·?HBase的調優和節點擴展最佳實踐

·?主要調優工具和性能監控工具

·?HBase集群對于硬件的要求和選型

·?HBase集群中對硬件、操作系統的調優方法

·?實際案例分析

·?ZooKeeper與HBase

·?HBase Master與Region Server

·?ZooKeeper在HBase集群中的應用方式

·?基于HBase的集群解決方案

·?典型案例分析：結合一個大型商業系統的實例案例分析及演練HBase集群架構搭建過程

·?課堂演練：學員搭建一個HBase與ZooKeeper的集群更加深入的了解Region Server, Mater, ZooKeeper之間的關系， 及HBase的高階操作與優化

HBase架構及實踐案例沙盤演練

·?為什么實用Hadoop/HBase

·?Hadoop的架構體系與HBase的應用關系

·?HBase的核心設計機制

·?HBase的使用場景？什么情況下使用HBase，為什么使用HBase，HBase使用帶來的實踐價值

·?開發環境準備

·?Eclipse與HBase的集成

·?HBase進行數據讀、寫操作

·?基于的API編程模型及其開發演練

·?關系型數據庫與HBase

·?HBase的Client端

·?HBase架構分析

·?基于HBase項目架構設計?

·?入庫和查詢的設計與實現

·??{實時性，大并發下HBase的數據處理解決方案

·?案例演練HBase的主體特性

·?Features:Scalability實現

·?HBaseFeatures:Column-Oriented實現

·?High Performance Random R/W實現

·?HBase Features: Scan Search實現

·?HBase Features: High?\Availability實現

典型案例分析：結合一個500強實時數據采集系統的實例案例進行分析，詳細分析HBase的開源架構應用及其使用場景與整體系統架構的結合

典型案例分析：通過HBase API完成一個復雜數據系統的操作過程

課堂演練：學員通過HBase API完成一個消息系統的HBase代碼

?

·??

HBase?的表結構設計

·?依據于業務的HBase表結構設計的基本思想

·?基于星核結構的思想進行的HBase表結構設計

·?數據雙寫的設計

·?索引表的設計

·?Rowkey的設計建議

·?Rowkey非單一ID

·?Rowkey為組合性

·?如何通過Rowkey覆蓋查詢場景

·?創建分詞索引表

·?交互性應用消息的表結構設計

·?無結構化數據的表結構設計

·?Column Family的設計

·?緩存表的設計

典型案例分析：結合一個大型互聯網電商系統的實例案例進行分析，詳細分析HBase的表結構設計

課堂演練：學員通過HBase API完成一個類似于滴滴打車的高并發系統的HBase表結構設計

HBase DB性能優化

·?基于HBase的ZooKeeper優化

·?HBase的Region Server優化

·?HBase的存儲文件優化

·?HBase的緩存優化

·?HTablePool的設計

·?HBase寫速度優化的7個實踐

·?HBase讀速度優化的6個實踐

·?HBase客戶端的讀寫優化

·?如何調整業務訪問HBase的方式，從而整體優化HBase的應用性能

·?HBase的表結構設計優化

典型案例分析：結合一個500強實時數據采集系統的應用數據， 對HBase進行性能測試， 演示不同優化對于HBase性能的影響

HBase綜合案例演練

?

一個大型的實例大數據項目：

具備掌握HBase大數據應用系統的完整 架構設計，具備項目的分析、開發、部署的全過程的能力，貫穿前面課程的主要內容，使大家熟悉一個完整大數據項目的分析、架構設計、開發、優化、部署的全過程。