1、培训过程中，如有部分内容理解不透或消化不好，可免费在以后培训班中重听；
       2、培训结束后,授课老师留给学员联系方式,保障培训效果,免费提供课后技术支持。
       3、培训合格学员可享受免费推荐就业机会。☆合格学员免费颁发相关工程师等资格证书，提升职业资质。专注高端技术培训15年，端海学员的能力得到大家的认同，受到用人单位的广泛赞誉，端海的证书受到广泛认可。

• 课程信息
  当下是大数据时代，为构建大数据平台，需要对分布式数据收集，大数据存储，分布式计算，资源管理等系统有全面而又深入的理解。众所周知，大数据源自于互联网行业，目前互联网公司已有一套完善的大数据平台建设方案，大部分选用开源的Hadoop和Spark两大生态系统，本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。
• 培训特色
  当下是大数据时代，为构建大数据平台，需要对分布式数据收集，大数据存储，分布式计算，资源管理等系统有全面而又深入的理解。众所周知，大数据源自于互联网行业，目前互联网公司已有一套完善的大数据平台建设方案，大部分选用开源的Hadoop和Spark两大生态系统，本课程正是以这两套系统为主介绍大数据平台及架构的构建策略及经验。
• 目标收益
  本课程将为大家全面而又深入的介绍大数据平台的构建流程，涉及分布式数据收集，大数据存储，资源管理及分布式计算框架等。本课程重点以Hadoop和Spark两大生态系统作为基准进行介绍，涉及Flume，HDFS,Hbase，YARN，MapReduce，Hive，Zookeeper，Spark，Storm，SparkStreaming等主流的大数据开源系统架构及应用经验。
• 培训对象
• 各类IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。
• 学员基础
• 了解Java语言、Linux系统；
• 主题 内容
  大数据架构概述
• 1.1大数据层级架构及各层软件设计要求，包括数据收集、存储、计算框、应用
  1.2 Hadoop生态系统概述以及版本演化，并给出版本选择建议。
  1.3 Spark生态系统概述及其特点，并与Hadoop对比
• 数据收集系统Flume与Sqoop
• 2.1使用flume和sqoop两个系统将外部流式数据（比如网站日志，用户行为数据等）、关系型数据库（比如MySQL、Oracle等）中的数据导入Hadoop中进行分析和挖掘
• 大数据存储系统HDFS与HBase
• 3.1 与HDFS1.0进行对比介绍2.0原理、特性与基本架构（快照、缓存、异构存储）。
  3.2 HBase原理，基本架构与案例分析
  3.3 HBase应用场景、原理和架构，典型应用案例（互联网、银行）
• 集群资源管理与调度系统
• 4.1 介绍YARN应用场景、基本架构与资源调度
• Zookeeper部署及典型应用
• 5.1 介绍Zookeeper是什么，基本原理及在应用
• 大数据计算平台
• 介绍主流的三大类大数据计算框架，分别是批处理、交互式计算和流式计算框架，并选取当下主流的开源实现进行介绍。
  6.1 批处理计算框架
  6.1.1 MapReduce2.0基本原理与架构、程序编写（使用java、C++、php语言）
  6.1.2 数据分析系统Hive与Pig应用与比较，如何使用其中的海量数据
  6.1.3 Spark计算框架，背景及应用案例
  6.2 交互式计算框架，Impala和presto应用场景，基本架构和典型应用案例
  6.3 流式/实时计算框架，storm、SparkStreaming基本架构特点，及应用案例
• 数据挖掘与机器学习库
• 7.1 Mahout与MLlib两个主流的分布式数据挖掘与机器学习库的实现以及应用案例。