一、Hadoop2.0 动态增加节点
怎样添加节点
添加新的服务器节点
新节点操作系统配置
新节点Hadoop配置
调整新节点副本数
二、Hadoop2.0 动态删除节点
怎样删除节点
删除Hadoop2.0集群节点
测试监控删除节点后的集群
三、Hadoop2.0 HDFS HA部署
HDFS HA的实现方式
HDFS HA的实现步骤
HA集群环境配置
HA hdfs-site.xml参数配置
HA其他参数配置
JournalNode服务启动及初始化
HDFS HA服务启动及手工切换
基于ZK自动切换模式的实现
HDFS HA中ZooKeeper部署
配置HDFS HA自动切换模式
HDFS HA自动故障切换测试
四、Hadoop2.0 HDFS HA+Federation部署
HDFS Federation的实现方式及规划
HDFS Federation的配置步骤
配置HDFS Federation
HDFS Federation服务启动及测试
HDFS HA+Federation实现及配置步骤
HDFS HA+Federation的配置及服务启动
HDFS HA+Federation集群故障模拟测试
五、Hadoop升级
Hadoop内部升级的实现
Hadoop1.0升级到2.0步骤
HDFS升级配置操作
执行HDFS升级并测试验证
MapReduce升级
六、Hadoop2.0 YARN HA部署
YARN HA的实现
YARN HA的配置步骤及其相关参数
Hadoop2.0 YARN HA配置操作
YARN HA服务启动及测试
YARN HA测试及错误处理
解决YARN HA启动错误的问题
HDFS+YARN HA故障模拟测试
七、Hadoop安全管理深度剖析
-Hadoop安全背景
-Hadoop1.0安全问题及处理机制
Kerberos基本概念及授权认证过程
Kerberos在Hadoop中的应用
Hadoop1.0安全机制的具体实现
RPC安全之身份认证机制
RPC安全之服务访问控制机制
HDFS安全策略
Mapreduce安全策略
Hadoop上层服务的安全策略
Hadoop1.0安全机制的应用场景
Hadoop2.0安全认证机制的实现
Yarn中的各类令牌及其作用
Hadoop2.0授权机制的实现
八、搭建本地yum安装CDH5 Hadoop集群
为什么选择CDH
CDH的体系架构
CDH的集群规划
CDH操作系统配置步骤
CDH集群主机名及网络配置
操作系统yum源配置
CDH5的yum源配置
主机间信任关系的建立
NTP时间同步服务配置
JDK安装
安装和配置HDFS步骤
YUM安装HDFS
CDH集群环境变量配置
CDH5 HDFS核心配置
HDFS其他重要配置及服务启动
安装和配置YARN的步骤
YARN的安装
YARN的核心参数配置
MapReduce相关参数配置
服务启动及验证
CDH5集群测试
webHDFS的使用
九、基于Kerberos认证的Hadoop安全管理
Kerberos集群规划及配置步骤
Kerberos安装配置
Kerberos数据库创建及服务启动
Kerberos的使用及测试
Kerberos principal和keytab概念剖析
HDFS上配置Kerberos步骤
HDFS principal创建及生成keytab文件
HDFS keytab文件部署
HDFS安全参数配置
Namenode服务的安全启动
Datanode服务的安全启动
HDFS安全使用测试
YARN配置Kerberos步骤
YARN principal创建及keytab文件生成部署
YARN安全参数配置
YARN服务安全启动及测试
自动化集群管理
十、Zookeeper&HIVE&HBASE&LDAP实现Kerberos认证
Zookeeper配置Kerberos步骤
通过Yum安装Zookeeper
Zookeeper Server配置Kerberos
Zookeeper Client配置kerberos
HBase相关概念深度解析
HBase配置Kerberos步骤
通过Yum安装HBase 01
通过Yum安装HBase 02
为HBase配置Kerberos
HBase启动错误诊断及测试
CDH Hive架构及配置Kerberos认证步骤
安装HIVE组件及配置PostgreSQL
Hive的基础配置
为Hive配置Kerberos认证
Hive shell及Beeline安全访问测试
hive与hbase集成原理
hive-hbase集成安装配置
hive-hbase映射表创建
LDAP基本概念
LDAP模式设计
LDAP集成Kerberos配置步骤
LDAP安装和基础配置
LDAP集成Kerberos及数据库创建
导入系统用户到LDAP
OpenLDAP客户端配置和使用
十一、Impala大数据分析引擎
什么是Impala
Impala架构和进程
Impala安装配置步骤
Impala安装部署
Impala配置及服务启动
Impala配置Kerberos认证
Impala启停故障处理及测试
Impala的使用
Impala-shell基本功能的使用
Impala连接查询
Impala聚合及子查询
Impala分区表的使用
Impala的优化
Impala收集统计信息及生成查询计划
HDFS缓存池在Impala中的使用
十二、Oozie&Hue的使用及安全认证管理
什么是oozie
Oozie安装和配置步骤
Oozie安装和基本配置
Oozie安全配置及服务启动
Oozie启动问题处理
Oozie Mapreduce作业测试
Oozie常用命令及工作流程定义
Oozie MR&hive&sqoop动作节点配置
Oozie pig&ssh&java&sw&shell动作节点配置
Oozie Coordinator作业
Coordinator动作和应用定义
Oozie Bundle应用定义
什么是Hue
安装配置Hue-HDFS&YARN
Hue配置Hive、Kerberos、Imapala和Zookeeper等
Hue安装启动问题处理
Hue页面初始化及查询问题解决
Hue控制台的使用
十三、Hadoop2.0授权及资源调度管理
Hadoop授权管理基础知识
服务访问授权
服务级授权配置实例
队列访问控制列表
队列访问控制配置实例
公平调度器配置步骤
公平调度器配置实例
公平调度器验证
容量调度器配置
容量调度器配置
容量调度配置测试验证
基于标签的调度器
十四、Hadoop压缩
hadoop压缩概念及支持的格式
hadoop常用几种压缩格式对比
压缩格式的选择
Snappy压缩配置
Snappy&Gzip压缩测试
Hadoop LZO压缩安装配置步骤
cdh5 lzo压缩安装
lzo安装问题处理
lzo压缩配置及测试
hive配置使用lzo压缩
Hive外部表使用lzo压缩文件
Hive使用lzo压缩实例
hbase压缩配置
hbase压缩测试
十五、Hadoop文件存储格式
大数据存储需求及方式
Hadoop常用文件格式
HDFS块内三种存储方式实例
RCFile的设计和实现
ORCFile文件结构
Hive文件存储格式的选择
Hive不同文件格式数据加载测试
多种文件格式查询存储效率测试
RCFile性能测试
十六、Hadoop调优
调优思路
应用程序优化
Linux系统优化
Hadoop实现机制调优
机架感知策略实现
Hadoop参数调优综述及NameNode调优
Datanode参数调优
集中化缓存管理
集中缓存架构和概念
缓存管理及缓存池命令
缓存操作实例
缓存参数配置
YARN调优概述
Slave和Container资源分配
配置资源分配和进程大小属性
YARN内存监控
Reducer调度调优
Mapreduce其他关键参数调优 |
合作伙伴与授权机构
总部李老师
