商丘大數(shù)據(jù)培訓班基礎課程
來源：
奇酷教育 發(fā)表于：
大數(shù)據(jù)培訓班基礎課程 第一部分：Hadoop基礎 · 初識Hadoop及其分布式文件系統(tǒng) Hadoop是什么；Hadoop可以做什么；Hadoop的
大數(shù)據(jù)培訓班基礎課程
· 初識Hadoop及其分布式文件系統(tǒng)
Hadoop是什么；Hadoop可以做什么；Hadoop的分布式文件系統(tǒng)（HDFS）及其特點，HDFS如何承載應用
· 搭建偽分布式的Hadoop環(huán)境
如何利用一臺Linux機器搭建你的**個Hadoop環(huán)境 ？ 如何從Hadoop的日志中發(fā)現(xiàn)它的故障、異常等
· 開發(fā)你的**個MapReduce程序
函式編程與MapReduce，MapReduce程序的主題結(jié)構(gòu)；在Eclipse上搭建MapReduce開發(fā)環(huán)境；
如何運行你MapReduce程序；用ANT自動化MapReduce程序的部署
· 在企業(yè)內(nèi)網(wǎng)中**搭建真正分布式的Hadoop環(huán)境
如何在企業(yè)內(nèi)網(wǎng)中**搭建一個真正的分布式的Hadoop環(huán)境？涉及YUM源，部署腳本等。
· HIVE基礎與實踐
HIVE的架構(gòu)和實現(xiàn)方式；HIVE Metastore的類型和實現(xiàn)方式；HQL語言基礎；如何用HIVE做大數(shù)據(jù)分析等
第二部分：深入解析HDFS
· 深度解析HDFS系統(tǒng)配置
HDFS及Linux中與HDFS相關(guān)的配置項詳解，常用的HDFS必配項及其在實踐中的設置方法
· 玩轉(zhuǎn)HDFS
如何管理和維護HDFS，查找HDFS的基本命令，如何獲取幫助，HDFS中的兩個**常用命令集dfs和dfsadmin
· 深度解析HDFS的五大關(guān)鍵特性
EditLog、Checkpoint、 Rebalance、Rack Awareness和Replication
· 深度解析HDFS的讀寫過程和性能優(yōu)化
HDFS在文件讀寫過程（結(jié)合HDFS源代碼），HDFS的租約機制與無鎖讀寫特性，如何從操作系統(tǒng)磁盤、
文件系統(tǒng)和網(wǎng)絡等幾個層面來優(yōu)化的HDFS性能
· Trouble Shooting HDFS
HDFS的常見問題，Namenode的常見問題及其處理方法 ， 元數(shù)據(jù)損壞時如何恢復，Datanode的常見問題及其處理方法
· 深入淺出Zookeeper
Paxos與Google的分布式 協(xié)同 機 制 ， Chubby與Zookeeper， Zookeeper的 原 理、部署方法和應用技巧
· Hadoop Ha理論與實踐
Hadoop HA的前世今生，Hadoop HA中是否存在數(shù)據(jù)丟失 的 風險 ， Hadoop2中的 兩 種HA方 式 QJM和 NFS， QJM方案配置演示
· HDFS RAID與HttpFS
· 案例分析：制作基于HDFS的對象存儲
第三部分：深入解析MapReduce
· 深度刨析JobTracker和TaskTracker
JobTracker和TaskTracker的工作原理詳解
· MapReduce經(jīng)典案例刨析與開發(fā)思想
函式編程的回顧與深化，MapReduce典 型 程 序 分析：Wordcount、Top-k與Join
· 定制你的MapReduce
Inputformat、OutputFormat和Partitioner等
· 讓Ma pRed uce 程序飛速運行（一）
深度解析 Split、Sort、 Shuffling、 Merge四 大MapReducce程序執(zhí)行過程中所經(jīng)歷的四大關(guān)鍵過程，
如何利用這4大過程來優(yōu)化MapReduce程序
· 讓Ma pRed uce 程序飛速運行（二）
Combiner原理及其在MapReduce中的作用 ，MapReduce實際案例分析
· MapReduce程序開發(fā)的高級技巧
用Python等第三方語言**編寫MapReduce程序、自動串接多個Mapper 和Reducer、
容忍一定程度的失敗任務和錯誤記錄等
· 進一步玩轉(zhuǎn)MapReduce的平臺級優(yōu)化
MapReduce程序的主要性能瓶頸及各種“坑”，MapReduce的主要性能配置項及其配置方法
· YARN和MRv2選講
案例分析：挖掘運營商中的大數(shù)據(jù)
您現(xiàn)在所在的位置：首頁 >關(guān)于奇酷 > 行業(yè)動態(tài) > 商丘大數(shù)據(jù)培訓班基礎課程
