曙海教育集团
全国报名免费热线:4008699035 微信:shuhaipeixun
或15921673576(微信同号) QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
   班级规模及环境--热线:4008699035 手机:15921673576( 微信同号)
       每期人数限3到5人。
   上课时间和地点
上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山学院/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
最近开课时间(周末班/连续班/晚班):2020年3月16日
   实验设备
     ☆资深工程师授课
        
        ☆注重质量 ☆边讲边练

        ☆合格学员免费推荐工作
        ★实验设备请点击这儿查看★
   质量保障

        1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
        2、培训结束后,授课老师留给学员联系方式,保障培训效果,免费提供课后技术支持。
        3、培训合格学员可享受免费推荐就业机会。

课程大纲
 
  1. Spark培训——提高云计算大数据速度
      Spark培训——提高云计算大数据速度
    培训内容:
    第一部分:
    1、Spark的架构设计
    1.1 Spark的速度为什么如此的快?
    1.2 Spark的架构设计剖析
    1.3 RDD计算流程解析
    1.4 Spark的出色容错机制
    2、实战使用三种语言开发Spark
    2.1 Scala简介、为什么Spark会使用Scala作为开发语言?
    2.2 在Spark中使用Scala
    2.3 使用Java开发Spark程序
    2.4 使用Python开发Spark程序
    2.5 深入使用Spark Shell
    3、快速掌握Scala
    3.1 Scala变量声明、操作符、函数的使用实战
    3.2 apply方法
    3.3 Scal的控制结构和函数
    3.4 Scala数组的操作、Map的操作
    3.5 Scala中的类
    3.6 Scala中对象的使用;
    3.7 Scala中的继承
    3.8 Scala中的特质
    3.9 Scala中集合操作
    4、Spark集群的安装和设置
    4.1 在一台机器上运行Spark
    4.2 在EC2上运行Spark
    4.3 在Mesos上部署Spark
    4.4 在YARN上部署Spark
    4.5 通过SSH在众多机器上部署Spark
    4.6 Spark集群设置
    5、编写Spark程序
    5.1 程序数据的来源:File、HDFS、HBase、S3等
    5.2 IDE环境构建
    5.3 Maven
    5.4 sbt.
    5.5 编写并部署Spark程序的实例
    第二部分
    6、SparkContext解析和数据加载以及存储
    6.1 源码剖析SparkContext
    6.2 Scala、Java、Python使用SparkContext
    6.4 加载数据成为RDD
    6.5 把数据物化
    7、深入实战RDD
    7.1 DAG
    7.2 深入实战各种Scala RDD Function 
    7.3 Spark Java RDD Function
    7.4 RDD的优化问题
    8、Shark的原理和使用
    8.1 Shark与Hive
    8.2 安装和配置Shark
    8.3 使用Shark处理数据
    8.4 在Spark程序中使用Shark Queries
    8.5 SharkServer
    8.6 思考Shark架构
    9、Spark程序的测试
    9.1 编写可测试的Spark程序
    9.2 Spark测试框架解析
    9.3 Spark测试代码实战
    10、Spark的优化
    10.1 Logs
    10.2 并发
    10.3 内存
    10.4 垃圾回收
    10.5 序列化
    10.6 安全
    第三部分
    11、Spark的机器学习
    11.1 LinearRegression
    11.2 K-Means
    11.3 Collaborative Filtering
    12、Spark的图计算GraphX
    12.1 Table Operators
    12.2 Graph Operators
    12.3 GraphX
    13、Spark SQL
    13.1 Parquet支持
    13.2 DSL
    13.3 SQL on RDD
    14、Spark实时流处理
    14.1 DStream
    14.2 transformation
    14.3 checkpoint
    14.4 性能优化
     
     

  2.  
     












"















友情链接:Cadence培训 ICEPAK培训 EMC培训 电磁兼容培训 sas容培训 罗克韦尔PLC培训 欧姆龙PLC培训 PLC培训 三菱PLC培训 西门子PLC培训 dcs培训 横河dcs培训 艾默生培训 robot CAD培训 eplan培训 dcs培训 电路板设计培训 浙大dcs培训 PCB设计培训 adams培训 fluent培训系列课程 培训机构课程短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班培训 南京 NS3培训 OpenGL培训 FPGA培训 PCIE培训 MTK培训 Cortex训 Arduino培训 单片机培训 EMC培训 信号完整性培训 电源设计培训 电机控制培训 LabVIEW培训 OPENCV培训 集成电路培训 UVM验证培训 VxWorks培训 CST培训 PLC培训 Python培训 ANSYS培训 VB语言培训 HFSS培训 SAS培训 Ansys培训 短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班 端海 教育 企业 学院 培训课程 系列班 长期课程列表实践课程高级课程学校培训机构周末班 短期培训系列课程培训机构 端海教育企业学院培训课程 系列班