班级规模及环境--热线:4008699035 手机:15921673576( 微信同号) |
每期人数限3到5人。 |
上课时间和地点 |
上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山学院/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
最近开课时间(周末班/连续班/晚班):2020年3月16日 |
实验设备 |
☆资深工程师授课
☆注重质量
☆边讲边练
☆合格学员免费推荐工作
★实验设备请点击这儿查看★ |
质量保障 |
1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
2、培训结束后,授课老师留给学员联系方式,保障培训效果,免费提供课后技术支持。
3、培训合格学员可享受免费推荐就业机会。 |
课程大纲 |
|
- 大数据处理与优化最佳实践培训
大数据处理与优化最佳实践培训
课程安排
主题
内容见要
第一部分
海量数据处理系统
的架构设计
这个部分主要讲解海量数据处理的架构设计,针对海量数据的问题设计海量数据的架构解决方案。
Ø 海量数据处理的系统场景
Ø 大数据时代的数据架构解决方案
Ø 海量数据处理的架构汇总
Ø 8种海量数据处理的架构设计比较
Ø 分布式系统架构的海量数据处理设计
Ø 海量数据处理设计
典型案例分析:
NoSQL的实践应用
NoSQL综述解决的实际问题
关系数据库暴露的问题
n High performance并发要求
n Huge Storage的存取
n High Scalability的服务器分布要求
n High Availability的服务器健壮要求
关系型数据库失效的场景
NoSQL与关系型数据库设计理念比较
NoSQL设计模型分析
n K-V模型的Column设计
n Document模型的B Tree设计
n Object模型的基于Object数据访问设计
NoSQL实例分析
n Apache Hbase架构解析
n Facebook Cassandra架构解析
n Google BigTable架构解析
典型案例分析:
进入Hadoop的精彩世界
文件存储-HDFS
HDFS-工作原理
数据计算MapReduce
MapReduce工作原理
SQL分析-Hive
海量实时读写-HBase
工作流调度-Ooize
分布式协调系统—Zookeeper
第二部分
Hadoop部署与编程
Hadoop版本介绍与选择
Hadoop部署实践
Hadoop安装文件构成与配置体系
机器硬件建议配置
系统环境配置
基本参数配置与说明
进程分布规划与启动
Hadoop基本使用操作
HDFS
权限
MapReduce
HDFS编程
开发环境准备
读文件
写文件
Hadoop系统容灾策略
Hadoop资源调度策略
Hadoop安全
Hadoop系统监控与报警策略
Hive架构及实践案例沙盘演练
Hive系统部署与搭建
Hive工作机制
基于Hive的网站日志分析示例
Hive的用户自定义函数开发
Hive底层数据文件与数据压缩选择
n gzip
n bz2
n lzo
n rcfile
Hive运行参数调优
Hive程序编写性能建议
n MapJoin
n 数据倾斜
n Join顺序
n UDF编写注意事项
n 快速获取结果TopN
通过Explain观察Hive行为
典型案例分析
第三部分
Hadoop集群架构搭建及实践案例沙盘演练
Hadoop集群架构搭建方法
Hadoop集群架构性能管理
HDFS,NameNode,DataNode的调优和节点扩展最佳实践
主要调优工具和性能监控工具
Hadoop集群对于硬件的要求和选型
Hadoop集群中对硬件、操作系统的调优方法
实际案例分析
基于Hadoop的集群解决方案
典型案例分析:
MapReduce架构及实践案例沙盘演练
MapReduce剖析
n MapReduce的原理和运行过程
n 构建MapReduce的开发环境
MapReduce案例实战
n 使用MapReduce的Java接口实现经典的WordCount
n wordcount运行过程解析
n MapReduce实现数据去重操作
n MapReduce实现数据排序
n MapReduce实现数据平均数据的计算
典型案例分析:
HBase架构及实践案例沙盘演练
为什么实用Hadoop/HBase
Hadoop的架构体系与HBase的应用关系
HBase的核心设计机制
HBase的使用场景?什么情况下使用HBase,为什么使用HBase,HBase使用带来的实践价值
关系型数据库与HBase
HBase的Client端
HBase架构分析
基于HBase项目架构设计
HBase开发环境搭建
入库和查询的设计与实现
统计功能的设计与实现
案例演练HBase的主体特性
n Features:Scalability实现
n HBaseFeatures:Column-Oriented实现
n High Performance Random R/W实现
n HBase Features: Scan Search实现
n HBase Features: High‐Availability实现
典型案例分析:
"
|