1、培训过程中，如有部分内容理解不透或消化不好，可免费在以后培训班中重听；
        2、培训结束后,授课老师留给学员联系方式,保障培训效果,免费提供课后技术支持。
        3、培训合格学员可享受免费推荐就业机会。

课程模块 课程主题 主要内容(内容可以根据学员的要求可以现场调整）
模块一 Spark
生态介绍  Mapreduce、storm和spark模型的比较和使用场景介绍
 Spark产生背景
 Spark（内存计算框架）
 SparkSteaming（流式计算框架）
 Spark SQL（ad-hoc）
 Mllib（MachineLearning）
 GraphX（bagel将被代）
 DlinkDB介绍
 SparkR介绍

模块二 Spark
安装部署  Spark安装简介
 Spark的源码编译
 Spark Standalone安装
 Spark应用程序部署工具spark-submit
 Spark的高可用性部署

模块三 Spark
运行架构和解析  Spark的运行架构
• 基本术语
• 运行架构
• Spark on Standalone运行过程
• Spark on YARN 运行过程
 Spark运行实例解析
• Spark on Standalone实例解析
• Spark on YARN实例解析
• 比较 Standalone与YARN模式下的优缺点
模块四 Spark
scala编程 • Scala基本语法与高阶语法
• Scala基本语法
• Scala开发环境搭建
• Scala开发Spark应用程序
• 使用java编程
• 使用scala编程
• 使用python编程
模块五 Spark
编程模型和解析  Spark的编程模型
• Spark编程模型解析
• RDD的特点、操作、依赖关系
• Spark应用程序的配置
• Spark的架构
• spark的容错机制
• 数据的本地性
• 缓存策略介绍
宽依赖与窄依赖

模块六 Spark 数据挖掘  Mllib的介绍
 graphX核心原理
 table operator和graph operator区别
 vertices、edges和triplets介绍
 构建一个graph
 SparkR原理
 SparkR实战

模块七 Spark Streaming原理和实践  Spark Streaming与Strom的区别
 Kafka的部署
 Kafka与Spark Streaming的整合
 Spark Streaming原理
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别
• 带状态的transformation与无状态transformation
• Spark Streaming的优化
 Spark Streaming实例
• Streaming的容错机制
• streaming在yarn模式下的注意事项
对于需结合第三方存储机制的与流式处理方案
• 文本实例
• 网络数据处理
• Kafka+Spark Streaming实现日志的实时分析案例

模块八 Spark的优化  序列化优化——Kryo
 Spark参数优化实战
 Spark 任务的均匀分布策略
 Partition key倾斜的解决方案
 Spark任务的监控
 GC的优化
 Spark Streaming吞吐量优化
 Spark RDD使用内存的优化策略
 Spark在使用中的感想分享

模块九 Spark的数据源  Spark与HDFS的整合
 HDFS RDD原理和实现
 Spark与Hbase的整合
 Spark与Cassendera整合
 Hbase RDD的分区读取
 Hbase RDD的原理和实现
 Spark parallelism RDD的工作机制

模块十 Spark Streaming应用及案例分析  Spark Streaming产生动机
  Spark Streaming程序设计
（1）创建DStream
（2）基于DStream进行流式处理
 Spark Streaming容错与性能优化
（1）Spark Streaming容错机制
（2）如何对spark Streaming进行优化
  Spark Streaming案例分析
基于Spark Streaming的用户标签系统，内容包括项目背景，项目架构以及实施方法

模块十一 典型项目
案例实战  基于spark日志分析
 个性化推荐系统：带你揭开其神秘面纱
 在线投放引擎
 揭开淘宝点击推荐系统的神秘面纱
 淘宝数据服务架构—实时计算平台