| |
|
| |
| |
 班级规模及环境--热线:4008699035 手机:15921673576( 微信同号) |
| |
每期人数限3到5人。 |
| |
上课时间和地点 |
| |
上课地点：【上海】：同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】：电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】：北京中山学院/福鑫大楼 【南京分部】：金港大厦(和燕路) 【武汉分部】：佳源大厦（高新二路） 【成都分部】：领馆区1号（中和大道） 【沈阳分部】：沈阳理工大学/六宅臻品 【郑州分部】：郑州大学/锦华大厦 【石家庄分部】：河北科技大学/瑞景大厦 【广州分部】：广粮大厦 【西安分部】：协同大厦
最近开课时间(周末班/连续班/晚班）：2020年3月16日 |
| |
实验设备 |
| |
☆资深工程师授课
☆注重质量
☆边讲边练
☆合格学员免费推荐工作
★实验设备请点击这儿查看★ |
| |
质量保障 |
| |
1、培训过程中，如有部分内容理解不透或消化不好，可免费在以后培训班中重听；
2、培训结束后,授课老师留给学员联系方式,保障培训效果,免费提供课后技术支持。
3、培训合格学员可享受免费推荐就业机会。 |
| |
课程大纲 |
| |
|
| |
3课程大纲
Hadoop高阶应用课程（81课时）
Hadoop 2.0（6课时）
Hadoop 2.0产生背景
Hadoop 2.0基本构成
HDFS 2.0
MapReduce 2.0
Hadoop 2.0安装配置
集群测试
YARN资源管理系统（4课时）
YARN产生背景
YARN基本设计思想
YARN基本架构
YARN工作流程
YARN通信协议
YARN容错
YARN资源调度机制
YARN支持的计算框架（Storm，Tez，Spark）（11课时）
以YARN为核心的生态系统
Storm基本概念
Storm流式计算框架
基于YARN的Storm架构
YARN-Storm部署
Storm On YARN服务
Apache Tez介绍
Tez特点
Tez数据处理引擎
DAGAppMaster实现
Tez优化机制
Tez应用场景
Tez部署
什么是Spark
Spark生态系统
Spark的核心--RDD和Lineage
RDD的存储、容错机制、内部设计及数据模型
Spark调度框架
Spark的分布式部署方式
基于Mesos的Spark模式
基于YARN的Spark模式
Spark的独立模式部署
Spark的YARN模式部署
MapReduce多语言编程（5课时）
MapReduce编程接口
Java编程接口实例解析
Hadoop Streaming实现方式
Hadoop Streaming编程实战（C++，PHP，PYTHON）
Hadoop Streaming原理剖析
Hadoop Pipes的编程实例
Hadoop Pipes的原理剖析
MapReduce高阶实现（14课时）
复杂的MapReduce应用
K-means聚类、贝叶斯分类等
工作流编程实例及原理剖析
JobControl、ChainMapper/ChainReducer
Hadoop工作流引擎
常用MapReduce优化技巧
配置多个reducer
设置Stream的处理格式
控制分片的大小
避免分片
输入格式：文本输入、多种类型输入
输出控制：多个输出、延迟输出
实战：数据分区
MapReduce高级特性
计数器、内置计数器
实例：用户自定义计数器
MapReduce部分排序的实现
实例：MapReduce全排序
Terasort算法分析
实例：MapReduce实现二次排序
连接、Map端连接的实现
实例：Reduce端连接
连接类型、连接策略介绍
重分区连接框架的实现
复制连接框架的实现
实例：半连接
全局作业参数/数据文件传递
HBase编程实践及案例分析（10课时）
HBase基础精讲
HBase Java编程实例
HBase多语言编程
Thrift安装、服务配置
HBase C++编程实例
HBase Python编程实例
HBase MapReduce编程基础
实战：HBase MapReduce编程
Hbase案例：OpenTSDB的实现
基于HBase的爬虫调度库
基于HBase的爬虫索引库
银行人民币查询系统
Sqoop（6课时）
Sqoop产生背景、基本
Sqoop1和Sqoop2架构及特点
Sqoop1安装配置（版本1.4.4）
Sqoop导入介绍
实战：从mysql导入数据到HDFS
实战：从mysql导入数据到Hive
Sqoop导出介绍
实战：将Hive数据导出到Mysql
Sqoop与Hbase结合
Sqoop作业操作
Sqoop作业安全配置
Sqoop2安装配置（版本1.99.3）
Sqoop2使用综合实战
Flume日志收集系统（7课时）
Flume概念和特点
Flume OG架构、组成、特点、容错机制设计
日志收集系统综合比较
Flume NG架构、核心概念
Flume OG的安装
Flume OG的配置（Web端、Flume shell）
Flume NG的安装配置、测试
Flume NG模块配置（Source、Channel、Sink）
Flume NG配置实战分析
Avro数据序列化系统（1课时）
Avro介绍
Avro特性、主要作用
RPC使用Avro
Avro与其他序列化系统的区别
Mahout数据挖掘工具（10课时）
数据挖掘概念、系统组成
数据挖掘常用方法及算法（回归分析、分类、聚类等）
数据挖掘分析工具
Mahout支持的算法
Mahout起源和特点
Mahout安装、配置及测试
实战：Mahout K-means聚类分析
Mahout实现Canopy算法
Mahout实现分类算法
实战：Mahout逻辑回归分类预测
实战：Mahout朴素贝叶斯分类
推荐系统的概念及分类
协同过滤推荐算法概念、分类及应用
实战：实现基于Mahout的电影推荐系统
Hadoop综合实战-文本挖掘项目（7课时）
文本挖掘的概念及应用场景
项目背景
项目流程
中文分词技术
庖丁分词器的使用
MapReduce并行分词程序的设计与实现
Pig划分数据集
Mahout构建朴素贝叶斯文本分类器
模型应用-计算用户偏好类别 |
|
|
|
|
Troubleshooting Java Applications
Classpath Errors
Class Loaders
Common Java Errors
Troubleshooting Servers
Native Libraries
Threading Architecture
Work Managers
Deadlocks
Overload Protection
Deployment Problems
Troubleshooting JDBC
Data Source Management
Diagnostics
Debug Flags
Connectivity Problems
Connection Leaks
Database Availability
Troubleshooting JMS
Management
MBean Hierarchy
Message Logging
Diagnostics
Debug Flags
Overload Protection
Lost Messages
Duplicate Messages
Troubleshooting Security
SSL Internals
Keystore Management
Debug Flags
Common SSL Problems
Certificate Validation
Embedded LDAP
Security Audit
Common LDAP Problems
Troubleshooting Node Manager
Internals
Security
Common Issues
Troubleshooting Clusters
Plug-in Configuration
OHS Overview
Plug-in Connectivity
Plug-in Diagnostics
Unicast Communication
Replication Debug Flags
Typical Replication Issues
|
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业