1、培训过程中，如有部分内容理解不透或消化不好，可免费在以后培训班中重听；
       2、培训结束后,授课老师留给学员联系方式,保障培训效果,免费提供课后技术支持。
       3、培训合格学员可享受免费推荐就业机会。☆合格学员免费颁发相关工程师等资格证书，提升职业资质。专注高端技术培训15年，端海学员的能力得到大家的认同，受到用人单位的广泛赞誉，端海的证书受到广泛认可。

• 培训特色
  课程内容：理解大数据和面临大数据带来的挑战，互联网网时代数据已经是公司的成败，对海量数的存储、计算、分析和挖掘等目前是很多互联网公司的核心，例如广告的推荐、商品推荐等，还可以挖掘数据来分析用户的潜在价值，面对数据快速的增长，存储和计算变得很重要，课程中我们使用hadoop来解决海量数据所带来的一些问题，Hadoop目前已经备受互联网的亲耐，hadoop已经成为海量数据处理必不可少的一个工具，也是最流行的一个海量数据存储和计算的框架，此外还有hive、Hbase、sqoop等框架的培训。
• 目标收益
  Hadoop这门课程从理论到实战再到公司的项目，还有hadoop集群的搭建和性能的调优，再到HDFS性能的测试和MapReduce性能的测试再到网络的需求等全面的详解Hadoop的开发和维护，深刻理解MapReduce的原理，能过使用mapreduce进行高级编程，使用Hive进行数据分析，使用Hbase进行线上分析，关系型数据和HDFS、hive之间的相互迁移，理解Hadoop的使用场景，面对一个需求适不适合使用hadoop。
• 培训对象
• 大数据爱好者、程序员、数据分析师，项目经理和对已经使用hadoop，想提高的用户。
• 学员基础
• 学员学习本课程应具备下列基础知识：
  1)了解Java或者python和shell语言；
  2)了解Linux系统；
• 课程大纲
  
• 主题 内容
  Hadoop的来源和动机
• 1.传统大规模系统存在的问题n2.Hadoop概述n3.Hadoop分布式文件系统 n4.MapReduce工作原理 n5.Hadoop集群剖析n6.Hadoop生态系统对一种新的解决方案的需求n7.Hadoop的行业应用案例分析n8.Hadoop在云计算和大数据的位置和关系
• Hadoop集群规划
• 1.Hadoop 集群内存要求nØ Namenode的机器配置nØ Datanode的机器配置nØ SNN的机器配置n2.Hadoop集群磁盘分区n3.集群和网络拓扑要求n4.集群软件的端口配置
• Hadoop简介和生态系统介绍
• 1.传统大规模数据分析存在的问题n2.Hadoop概述n3.Hadoop与分布式文件系统 n4.Hadoop生态系统n5.Hadoop的行业应用案例分析n6.Hadoop在云计算和大数据的位置和关系n7.Hadoop版本介绍n8.Hadoop与Google FS的关系n9.Hadoop在国内的使用情况和未来
• Hadoop安装和主要配置文件介绍
• 1.Hadoop安装所需软件介绍n2.Hadoop单机安装n3.Hadoop伪分布式安装n4.Hadoop完全分布式安装n5.Hadoop三个节点安装的配置介绍n6.Hahoop多节点ssh配置n7.Hadoop格式化详解n8.Hadoop核心配置文件介绍n9.核心配置文件core-site.xmln10.HDFS配置文件hdfs-site.xmln11.Mapreduce配置文件mapred-site.xmln12.master文件配置详解n13.slave文件配置详解n14.Hadoop启动和停止方法一n—start-all.sh详解n—stop-all.sh详解n15.Hadoop的启动和停止方法二n—hadoop-deamon.sh详解n16.Hadoop安装的常见错误介绍和解决方案n17.使用自带的wordcount和pi测试集群安装是否成功n18.使用Streaming来测试集群安装是否成功
• Hadoop组件介绍
• 1.Hadoop NameNode 介绍n2.Hadoop SecondaryNameNode 介绍n3.Hadoop DataNode 介绍n4.Hadoop JobTracker 介绍n5.Hadoop TaskTracker 介绍
• Hadoop的HDFS模块
• 1.HDFS架构介绍n2.HDFS原理介绍n3.NameNode功能详解n4.DataNode功能详解n5.SecondaryNameNode功能详解n6.HSFD的fsimage和editslog详解n7.HDFS的block详解n8.HDFS的block的备份策略n9.Hadoop的机架感知配置n10.HDFS的shell命令介绍n11.HDFS的thrift server服务介绍n12.HDFS的API接口介绍n13.HDFS的权限详解n14.Hadoop的客服端接入案例
• MapReducer入门和高级开发实战
• 1.Mapreduce原理n2.MapReduce流程n3.剖析一个MapReduce程序n4.Mapper和Reducer抽象类详解n5.Mapreduce的最小驱动类n6.MapReduce自带的类型n7.自定义Writables和WritableComparablesn8.Mapreduce的输入InputFormatsn9.MapReduce的输出OutputFormatsn10.自定义InputFormatn11.自定义InputSPlitsn12.自定义RecorderReadern13.Combiner详解n14.Partitioner详解n15.DistributeFileSystem详解n16.Hadoop Tools工具介绍n17.Counter计数器详解n18.自定义Counter计数器n19.基于Hadoop二次开发实战n20.MapReduce的优化n21.Map和Reduce的个数设置n22.Hadoop小文件优化n23.任务调度n24.默认的任务调度n25.公平任务调度n26.能力任务调度n27.使用 Hadoop MapReduce Streaming 编程n28.MapReduce的单元测试
• Hive的使用和实战
• 1.Hive和Pig基础n2.Hive、Impala和presto的比较 n3.Hive的作用和原理说明n4.Hadoop仓库和传统数据仓库的协作关系n5.Hadoop/Hive仓库数据数据流n6.Hive 部署和安装n7.Hive Cli 的基本用法n8.Hive的server启动n9.HQL基本语法n10.Hive的加载数据本地加载和HDFS加载n11.Hive的partition详解n12.Hive的存储方式详解n13.RCFILE、TEXTFILE和SEQUEUEFILEn14.Hive的UDF和UDAFn15.Hive的transform详解n16.Hive的JDBC连接
• Hbase使用
• 1.Hbase原理n2.Hmaster详解n3.RegionServer详解n4.Zookeeper介绍n5. Hbase安装n6.Hbase逻辑视图介绍n7.Hbase物理视图介绍n8.Hbase的二级索引介绍n9.Hbase 的DDL和DMLn10.Hbase表的设计案例n11.Hbase的import功能介绍n12.MapReduce操作Hbasen13.Hbase的 thrift Server介绍n14.Hbase 的API介绍n15.Hbase案例分析
• Hadoop安全和性能优化
• 1.Hadoop的可伸缩性应用n2.Hadoop的线性伸缩性n3. Hadoop的最佳实战n4.Map/Reduce性能测试n5.HDFS的性能测试n6.Hadoop企业级架构n7.Hadoop的安全实战n8.Hadoop的运维知识总结
• Hadoop集群配置介绍和维护
• 1.Hadoop集群的部署要点n2.NameNode和SecondaryNameNode和JobTracker机器的配置要求n3.dataNode与tasktracker机器的配置要求n4.Hadoop集群管理的工具介绍n5.Ganglia和nigos监控Hadoop集群介绍n6.Ambri介绍n7.添加和删除节点演示n8.Namenode的单点解决方案n9.NameNode的NFS备份介绍n10.集群所有dataNode挂掉的故障介绍n11.集群NameNode的fsimage丢掉恢复方法n12.Hadoop集群维护的注意点
• Sqoop介绍
• 1.Sqoop是什么n2.Sqoop安装n3.Sqoop把mysql数据导入HDFSn4.Sqoop把HDFS数据导入Mysqln5.Sqoop吧Mysql数据导入Hiven6.Sqoop吧Mysql数据导入Hive分区