1. Hadoop性能调优培训
     Hadoop性能调优培训
   培训大纲
   模块
   课程内容
   案例及实验
   Hadoop参数调优
   l 选择适合Hadoop的硬件配置
   l Hadoop配置项优化
   l 网络带宽参数调优
   l 选择正确的JDK
   l Hadoop作业调优
   l Linux操作系统优化
   l 其他配置和参数调优
   l Hadoop硬件优化
   l 不是所有的硬件都合适拿来直接使用
   l 硬件为什么不做raid？
   l 设置网络的注意事项
   l 中间结果压缩对磁盘和网络的优化
   l 常见异常现象及处理方法
   Hive性能优化
   l Hive参数优化
   l Hive其他优化
   l 自有软件Phphiveadmin的介绍及使用
   l 对group，join的优化
   l 其他参数设计
   l 设定并行执行嵌套sql
   l 为什么使用外部表和partition
   l Phphiveadmin带来的优势和便利
   精彩案例解析
   案例一：那namenode 被重新格式化，datanode无法连接
   案例二：硬盘损坏
   案例三：错误用户启动hadoop
   案例四：tasktracker重启后假死
   案例五：jobtracker无故宕机
   HBASE调优
   l HBase配置优化综述
   l 读优化中需要调整的参数
   l 写优化中需要调整的参数
   l Hbase-site.xml参数调优
   l JVM优化中需要调整的参数
   l Split & compact优化相关参数
   l 表设计优化相关参数
   l Hbase客户端优化相关参数
   l 监控工具使用方法及注意事项
   l Memstore合并设置的时机选择
   l Mslab使用设置
   l 合并storefile策略设置技巧
   l Memstore  flush 设置时机选择
   l Hbase-env.sh、Single、multi-thread、CMS使用及参数调用
   l GC回收垃圾时机、GC日志打印设置
   l GC阶段，region无法提供服务如何如何处理
   l 安装、使用步骤、主要监控参数，如何根据参数进行调优设置
   精彩案例解析
   案例1：hot  region造成读请求瓶颈
   现象：某台机器的某个region读请求非常频繁，大量读请求集中在一台机器的某个region会造成该机器的压力陡增，JVM内存居高不下，load很高，使得client读取数据上达到瓶颈值。
   Mapreduce的性能调优
   Mapreduce中需要调优的相关参数
   Ø Dfs.block.size
   Ø Mapreduce
   Ø Io.sort.mb
   Ø Io.sort.spill.percent
   Ø Mapred.local.dir
   Ø Mapred.map.tasksmapred.tasktracker.map.tasks.maximum
   Ø Mapred.reduce. tasksmapred. Sktracker.reduce.tasks. sktracker
   l Map中选择合理的块大小
   l Reduce并行复制线程的调优
   l Map/reduce内存配置的原则及方法
   l 槽位数计算方法
   l 调度器的选择集调优
   精彩案例解析
   案例1：控制map & reduce个数
   现象：map个数取决于split个数，如果源文件使用压缩存储，则不可分割，一个文件一个map。非压缩文件使用默认block.size进行切分。对reduce因为是中间数据，可以控制reduce数量。
    
2. 
    
    
    
    
3. 
    
    
    
    
4. 
      
5. 
   
6. 
    
7. 
    
    
8. 
    
    
9. 
   
   

"