曙海教育集团
全国报名免费热线:4008699035 微信:shuhaipeixun
或15921673576(微信同号) QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
 
内存计算(spark)知识模块体系培训

 
   班级规模及环境--热线:4008699035 手机:15921673576( 微信同号)
       每期人数限3到5人。
   上课时间和地点
上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山学院/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
最近开课时间(周末班/连续班/晚班):2020年3月16日
   实验设备
     ◆课时: 共5 部份,30学时
        
        ☆注重质量 ☆边讲边练

        ☆合格学员免费推荐工作
        ★实验设备请点击这儿查看★
   质量保障

        1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
        2、培训结束后,授课老师留给学员联系方式,保障培训效果,免费提供课后技术支持。
        3、培训合格学员可享受免费推荐就业机会。

大纲
 


1)scala解释器、变量、常用数据类型等 2)scala的条件表达式、输入输出、循环等控制结构 3)scala的函数、默认参数、变长参数等 4)scala的数组、变长数组、多维数组等 5)scala的映射、元组等操作 6)scala的类,包括bean属性、辅助构造器、主构造器等 7)scala的对象、单例对象、伴生对象、扩展类、apply方法等 8)scala的包、引入、继承等概念 9)scala的特质 10)scala的操作符 11)scala的高阶函数 12)scala的集合 13)scala数据库连接
五、Spark2.0 core大数据编程 1)Spark2.0介绍 2)Spark应用场景 3)Spark和Hadoop MR、Storm的比较和优势 4)RDD 5)Transformation 6)Action 7)Spark计算PageRank 8)Lineage 9)Spark模型简介 10)Spark缓存策略和容错处理 11)宽依赖与窄依赖 12)Spark配置讲解 13)Spark集群搭建 14)集群搭建常见问题解决 15)Spark原理核心组件和常用RDD 16)数据本地性 17)任务调度 18)DAGScheduler 19)TaskScheduler 20)Spark源码解读 21)性能调优 22)Spark和Hadoop2.x整合:Spark on Yarn原理 23) Spark Core核心编程 24)RDD内核架构概览 25)RDD的不同数据来源的创建方式详解 26)RDD的操作算子综述与本质分析(转换算子、行动算子) 27)常用操作算子的案例实战 28)RDD持久化实战以及Checkpoint 29)RDD共享变量以及累加器的使用实战
30)RDD简单排序功能(优化之前WordCount程序)以及二次排序的实战
31)Spark实战Top N功能详解 32)Spark任务调度流程整体架构分析详解 33)Spark任务划分流程整体架构分析详解(宽依赖与窄依赖、DAGScheduler源码分析)
34)Spark执行任务相关原理以及源码分析(TaskScheduler、Executor、Task、Shuffle)
35)Spark实战之PageRank 36)性能优化与调优的分析
六、 Spark SQL 1.Spark RDD应用SQL实战 2.RDD转化为DataFrame数据框的方式详解 3.Spark DataFrame数据框操作实战 4.加载和保存数据操作(load与save) 5.JSON数据源实战案例 6.JDBC数据源实战案例 7.Hive数据源实战案例 8.Parquets数据源实战加载数据、自动分区推断、合并元数据 9.内置函数的实战案例 10.开窗函数的实战案例 11.Spark SQL UDF自定义函数实战 12.Spark SQL UDAF自定义聚合函数实战 13.Spark SQL 工作原理详解以及Spark SQL 的源码分析 14.Hive on Spark
七、Spark Streaming实时计算 1)Spark Streaming和Storm对比讲解 2)Spark Streaming本质原理分析 3)Wordcount程序的实时版本开发 4)Spark Streaming和Spark Core里面context的不同 5)输入DStream和Receiver的讲解 6)不同输入源(Kafka、HDFS)的DStream操作实战 7)基于DStream的window滑动窗口实战案例 8)基于DStream的updateStateByKey实战案例 9)基于DStream的transform实战案例 10)DStream的输出存储操作以及核心函数foreachRDD实战 11)Spark Streaming的持久化实战以及Checkpoint 12)与Spark SQL结合使用实战案例 13)架构原理分析与性能优化

 
  备案号:备案号:沪ICP备08026168号-1 .(2024年07月24日)....................
友情链接:Cadence培训 ICEPAK培训 EMC培训 电磁兼容培训 sas容培训 罗克韦尔PLC培训 欧姆龙PLC培训 PLC培训 三菱PLC培训 西门子PLC培训 dcs培训 横河dcs培训 艾默生培训 robot CAD培训 eplan培训 dcs培训 电路板设计培训 浙大dcs培训 PCB设计培训 adams培训 fluent培训系列课程 培训机构课程短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班培训 南京 NS3培训 OpenGL培训 FPGA培训 PCIE培训 MTK培训 Cortex训 Arduino培训 单片机培训 EMC培训 信号完整性培训 电源设计培训 电机控制培训 LabVIEW培训 OPENCV培训 集成电路培训 UVM验证培训 VxWorks培训 CST培训 PLC培训 Python培训 ANSYS培训 VB语言培训 HFSS培训 SAS培训 Ansys培训 短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班 端海 教育 企业 学院 培训课程 系列班 长期课程列表实践课程高级课程学校培训机构周末班 短期培训系列课程培训机构 端海教育企业学院培训课程 系列班