曙海教育集团
全国报名免费热线:4008699035 微信:shuhaipeixun
或15921673576(微信同号) QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
 
离线计算(hadoop)知识模块体系培训

 
   班级规模及环境--热线:4008699035 手机:15921673576( 微信同号)
       每期人数限3到5人。
   上课时间和地点
上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山学院/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
最近开课时间(周末班/连续班/晚班):2020年3月16日
   实验设备
     ◆课时: 共5 部份,30学时
        
        ☆注重质量 ☆边讲边练

        ☆合格学员免费推荐工作
        ★实验设备请点击这儿查看★
   质量保障

        1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
        2、培训结束后,授课老师留给学员联系方式,保障培训效果,免费提供课后技术支持。
        3、培训合格学员可享受免费推荐就业机会。

大纲
 


一、Linux基础 1)Linux的介绍,Linux的安装:VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程
2)了解机架服务器,采用真实机架服务器部署linux
3)Linux的常用命令:常用命令的介绍、常用命令的使用和练习
4)Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用;
5)Linux启动流程,运行级别详解,chkconfig详解
6)VI、VIM编辑器:VI、VIM编辑器的介绍、VI、VIM扥使用和常用快捷键
7)Linux用户和组账户管理:用户的管理、组管理
8)Linux磁盘管理,lvm逻辑卷,nfs详解
9)Linux系统文件权限管理:文件权限介绍、文件权限的操作
10)Linux的RPM软件包管理:RPM包的介绍、RPM安装、卸载等操作
11)yum命令,yum源搭建
12)Linux网络:Linux网络的介绍、Linux网络的配置和维护
13)Shell编程:Shell的介绍、Shell脚本的编写
14)Linux上常见软件的安装:安装JDK、安装Tomcat、安装mysql,web项目部署
二、大型网站高并发处理 1)第四层负载均衡: 2)第七层负载均衡 3)Tomcat、jvm优化提高并发量 4)缓存优化
5)Lvs+nginx+tomcat+redis|memcache构建二层负载均衡千万并发处理
6)Fastdfs小文件独立存储管理
三、初识hadoop 1)Hadoop生态环境介绍 2)国内外Hadoop应用案例介绍 3)Hadoop 概念、版本、历史 4)Hadoop 核心组成介绍及hdfs、mapreduce 体系结构 5)Hadoop 的集群结构 6)Hadoop 伪分布的详细安装步骤 7)通过命令行和浏览器观察hadoop
四、 HDFS体系结构和shell以及java操作 1)HDFS底层工作原理 2)HDFS datanode,namenode详解 3)Hdfs shell 4)Hdfs java api
五、详细讲解Mapreduce 1)Mapreduce四个阶段介绍 2)Writable 3)InputSplit和OutputSplit 4)Maptask 5)Shuffle:Sort,Partitioner,Group,Combiner 6)Reducer
六、Mapreduce案例案例 1)二次排序 2)倒排序索引 3)最优路径 4)电信数据挖掘之--移动轨迹预测分析(中国棱镜计划) 5)社交好友推荐算法 6)互联网精准广告推送 算法 7)阿里巴巴天池大数据竞赛 《天猫推荐算法》案例 8)Mapreduce实战pagerank算法
七、Hadoop2.x集群搭建 1)Hadoop2.x集群结构体系介绍 2)Hadoop2.x集群搭建 3)NameNode的高可用性(HA) 4)HDFS Federation 5)ResourceManager 的高可用性(HA) 6)Hadoop集群常见问题和解决方法 7)Hadoop集群管理
八、分布式数据库Hbase 1)HBase定义 2)HBase与RDBMS的对比 3)数据模型 4)系统架构 5)HBase上的MapReduce 6)表的设计 7)集群的搭建过程讲解 8)集群的监控 9)集群的管理 10)HBase Shell以及演示 11)Hbase 树形表设计 12)Hbase 一对多 和 多对多 表设计 13)Hbase 微博 案例 14)Hbase 订单案例 15)Hbase表级优化 16)Hbase 写数据优化 17)Hbase 读数据优化
九、数据仓库Hive 1)数据仓库基础知识 2)Hive定义 3)Hive体系结构简介 4)Hive集群 5)客户端简介 6)HiveQL定义 7)HiveQL与SQL的比较 8)数据类型 9)外部表和分区表 10)ddl与CLI客户端演示 11)dml与CLI客户端演示 12)select与CLI客户端演示 13)Operators 和 functions与CLI客户端演示 14)Hive server2 与jdbc 15)用户自定义函数(UDF 和 UDAF)的开发与演示 16)Hive 优化
十、elasticsearch分布式搜索 1)elasticsearch简介 2)elasticsearch和solr的对比 3)elasticsearch安装部署 4)elasticsearch service wrapper启动插件 5)使用curl操作elasticsearch索引库 6)elasticsearch DSL查询 7)elasticsearch批量查询meet 8)elasticsearch批量操作bulk 9)elasticsearch插件介绍 10)elasticsearch配置文件详解 11)java操作elasticsearch 12)elasticsearch的分页查询 13)elasticsearch中文分词工具的集成 14)elasticsearch优化 15)elasticsearch集群部署 16)elasticsearch+hbase大型搜索系统架构
十一、CM+CDH集群管理 1)CM + CDH集群的安装 2)基于CM主机及各种服务组件的管理 3)CDH集群的配置和参数调优 4)CDH集群HA配置及集群升级 5)CM的监控管理 6)集群管理的注意事项 7)HUE实战详解
十二、 Impala 1)Impala介绍和架构 2)Impala实战安装,架构,外部shell 3)Impala内部shell,存储分区,SQL 4)Impala SQL、hbase整合,JDBC、性能优化 5)Impala配置及其调优 6)Impala项目应用
十三、Oozie 1)Oozie入门介绍 2)Oozie安装配置及其简单操作 3)hPDL语言学习及流程定义 4)oozie工作流配置及元数据库定义 5)oozie定时任务调度和oozie API操作
十四、数据迁移工具Sqoop 1)介绍 和 配置Sqoop 2)Sqoop shell使用 3)Sqoop-import 4)Sqoop-export
十五、Flume分布式日志框架 1)flume简介-基础知识 2)flume安装与测试 3)flume部署方式 4)flume source相关配置及测试 5)flume sink相关配置及测试 6)flume selector 相关配置与案例分析 7)flume Sink Processors相关配置和案例分析 8)flume Interceptors相关配置和案例分析 9)flume AVRO Client开发 10)flume 和kafka 的整合
十六、Zookeeper 开发 1)zookeeper架构 2)zookeeper实战环境 3)zookeeper内部算法详解 4)Zookeeper java api开发 6)Zookeeper实现SOA高可用架构框架 7)Netty 异步io通信框架 8)Zookeeper实现netty分布式架构的高可用 9)Zookeeper分布式锁实现

 
  备案号:备案号:沪ICP备08026168号-1 .(2024年07月24日)....................
友情链接:Cadence培训 ICEPAK培训 EMC培训 电磁兼容培训 sas容培训 罗克韦尔PLC培训 欧姆龙PLC培训 PLC培训 三菱PLC培训 西门子PLC培训 dcs培训 横河dcs培训 艾默生培训 robot CAD培训 eplan培训 dcs培训 电路板设计培训 浙大dcs培训 PCB设计培训 adams培训 fluent培训系列课程 培训机构课程短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班培训 南京 NS3培训 OpenGL培训 FPGA培训 PCIE培训 MTK培训 Cortex训 Arduino培训 单片机培训 EMC培训 信号完整性培训 电源设计培训 电机控制培训 LabVIEW培训 OPENCV培训 集成电路培训 UVM验证培训 VxWorks培训 CST培训 PLC培训 Python培训 ANSYS培训 VB语言培训 HFSS培训 SAS培训 Ansys培训 短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班 端海 教育 企业 学院 培训课程 系列班 长期课程列表实践课程高级课程学校培训机构周末班 短期培训系列课程培训机构 端海教育企业学院培训课程 系列班