班级规模及环境--热线:4008699035 手机:15921673576( 微信同号) |
每期人数限3到5人。 |
上课时间和地点 |
上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山学院/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
最近开课时间(周末班/连续班/晚班):2020年3月16日 |
实验设备 |
☆资深工程师授课
☆注重质量
☆边讲边练
☆合格学员免费推荐工作
★实验设备请点击这儿查看★ |
质量保障 |
1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
2、培训结束后,授课老师留给学员联系方式,保障培训效果,免费提供课后技术支持。
3、培训合格学员可享受免费推荐就业机会。 |
课程大纲 |
|
- 云计算与大规模数据处理培训
课程介绍:
通过本课程的学习,学员将深入了解到通过大规模集群的模式处理海量数据的方式与编程方法。通过实践相关的课程内容,使用开源的Apache Lucene Hadoop工具,学员将亲身实践Google文件系统以及Google所使用的分布式编程方式MapReduce。学员还需要完成特定的分布式应用程序设计来巩固所学的编程知识,用于处理实际的海量数据问题。
适合对象:
· 对云计算或大规模数据处理感兴趣的开发人员
· 架构师、项目经理等
课程目标:
· 熟悉和掌握云计算的架构与原理
· 了解大规模数据处理的核心技术
· 熟悉并理解企业大规模数据处理应用的注意事项
· 对开源系统的应用
预备知识:
· 对Lucene(开源的索引和检索系统)和 Hadoop有所理解
· 掌握基本的Java语法
· 对数据结构、编译原理、概率论有基本的了解
第一章
主题
分布式系统概述
大纲
· 分布式系统基本概念
· 分布式系统设计遇到的问题
· 分布式系统的可靠性问题
· 分布式系统的可扩展性问题
实验:
· 实验环境的介绍:实验环境中所涉及到的软件,实验中所需要的硬件配置,编程所需要的必要的Java知识等。
· 介绍如何在集群环境下进行Hadoop系统的安装以及配置,使得每个参加的学员都能够安装完成Hadoop,并进行正确配置与运行。
第二章
主题
分布式文件系统
大纲
· 传统的分布式文件系统,例如NFS,AFS等,
· 新的分布式文件系统的介绍,如Ceph等。
· 介绍分布式文件系统GFS,以及相应的在Hadoop中的模块HDFS。
实验:
· 学员实验所必须的相关的背景知识,例如多线程程序的编写,程序的同步问题,网络编程所需要的必要知识(实际是不用的,但是为了理解分布式程序的运行,必须要了解)。
· 熟悉使用Hadoop进行编程的基础知识:Hadoop的构成,Hadoop中相关类库的介绍,在Hadoop环境下,使用Java操作接口,对文件系统进行读写操作。
第三章
主题
MapReduce编程技术
大纲
· Google的MapReduce编程介绍
· 开源软件Nutch的体系结构与构成
· Hadoop的体系结构,构成以及MapReduce设计的编程要素
实验:
· Hadoop的MapReduce编程环境
使用Hadoop进行MapReduce编程,并进行第一个实验,即做一次倒排表的实验。
第四章
主题
MapReduce算法
大纲
· 使用MapReduce进行图算法PageRank
· 使用MapReduce进行聚类算法Canopy Clustering
实验:
· 图算法PageRank的实现
第五章
主题
云计算技术分析
大纲
· Amazon的云计算系统的介绍Elastic Computing Cloud
· 微软所使用的大规模数据处理技术Dryad等
· Google云计算平台App Engine深入剖析
§ App Engine概述及其典型应用分析
§ App Engine架构和实现解析
§ App Engine应用开发接口和编程实践
§ App Engine与其他云计算平台的横向比较及展望
实验:
· 聚类算法Canopy Clustering的实现
第六章
主题
在Google中所使用的其它技术
大纲
· Google的集群的构建
· Google的数据库系统BigTable
· Google的分布式锁技术Chubby
实验:
· 对实验进行收尾工作
"
|