1. Apache NiFi大数据数据处理和分发系统培训实战
     课程信息
   Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。
2. 培训特色
   Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。
3. 目标收益
   NiFi这个项目在2015年7月成功成为Apache开源社区的顶级项目，NiFi之前是在美国国家安全局使用了8年的一个可视化，可定制的数据集成产品，2014年贡献给了Apache开源社区。我们认为NiFi的出现填补的大数据集成领域的空白， 它不仅提供了可视化的工具实现大数据环境下不同系统之间进行数据移动和互联互通如SQL，HDFS，Kafka， HBASE， Solr，HTTP(s)、(s)FTP 而且还可以以可视化的方式进行各种数据格式的转换，json，xml，avro等。NiFi的出现使得大数据环境下的数据移动变得简单、高效、安全、可视 化，大大方便了业务和开发人员。
4. 培训对象
5. 大数据开发团队、大数据运维团队、数据采集和ETL人员、数据治理和管理人员
6. 课程大纲
    
7. 主题 内容
   模块 1：Nifi原理和架构
8. Nifi的功能概述
   Nifi原理和架构 
   Nifi基本模块介绍
   Nifi Groups、Processor、queue和connector模块介绍
   Nifi toolbar 界面演示
9. 模块2：Nifi安装和配置
10. Nifi单机版安装
    Nifi分布式安装
    Nifi slaves节点配置
    数据丢失容错和保证交付 
    低延迟和高吞吐量
    动态优先级 
    流可以在运行时修改 
11. 模块3：GUI 操作介绍
12. 无缝体验设计、控制和监视
    processor的create、stop、start、restart、delete等操作
13. 模块4：Nifi自带处理器介绍
14. Processor的原理和功能
    Kafka Processor介绍和实战
    JMS Processor介绍和实战
    Hbase、Cassandera、redis Processor介绍和实战
    Hdfs Processor、spark Streaming实战
    JDBC Processor介绍和实战
    FTP、Http、XML、Json Processor介绍和实战
15. 模块5：创建Nifi数据流
16. 创建发送/接收目录
    getFile和putFile Processor创建
    创建复制文件从发送放到接收
    创建Queue队列
17. 模块6：创建高级数据流
18. 自定义文件名
    添加自定义属性
    添加正则表达式
    实现Path过滤规则
19. 模块7：Nifi安全
20. 创建用户、用户组、角色 
    SSL,SSH,HTTPS加密认证
    可插拔的基于角色的验证/授权
    基于webUI的SLA认证授权 
21. 模块8：创建Nifi处理器
22. 实现一个Kafka、JMS到HDFS的流程设计
    查看运行日志
    查看监控
23. 模块9：Nifi集群配置和管理
24. Nifi集群添加节点
    删除节点
    Nifi性能优化
    Slaves节点的负载均衡配置
    制定特定的Processor到特定的node节点
    集群动态负载均衡配置
25. 模块10：用户自定义处理器
26. eclipse工程创建
    实现一个FilterFileProcessor功能
    编译&添加到Nifi的lib下面
    创建用户自定义的FilterFile处理器
27. 模块11：Nifi实战
28. Nifi在互联网的使用实战
    Nifi在某大型商业银行实战案例分享
32. 
       3.IAAS存储选型及规划
    四：云数据中心运维
    1. 云数据中心面临的主要问题
    2. 云数据中心运维平台总体架构。
    3. 云数据中心监控
    4. 云数据中心资本管理
    5. IT服务管理
    五：云数据中心基础设施规划与建设
    1. 土建和施工
    2. 绿色机房的规划
    3. 绿色机房建设要点
    六：灾备解决方案的规划与建设
    1. 灾备的概念
    2. 灾备的标准规范
    3. 灾备的建设要点
    七：传统数据中心的改造和整合
    1. 架构治理的框架
    2. 运营模型
    3. 传统数据中心改造和整合
    八：云数据中心安全
    1. 从“斯诺登事件”看安全
    2. 云数据中心安全措施
    3. 安全机制与应急方案
    九：云数据中心展望
    1. 标准化数据中心
    2. 绿色节能模式的深入应用。
    3. 大虚拟化时代的到来
    4. 云数据中心在大数据方向的应用
    7.2　使用ansible-vault
    7.3　典型应用场景
    第8章　Ansible与云计算
    8.1　了解云平台管理流程
    8.2　Ansible AWS和OpenStack
    8.3　Ansible与Docker
    8.4　Ansible Jenkins
    第9章　部署Zabbix组件
    9.1　了解部署流程
    9.2　编写业务roles
    9.3　安装部署
    第10章　部署HAProxy + LAMP架构
    10.1　了解整体架构流程
    10.2　编写业务roles
    10.3　配置部署以及测试
    10.4　扩容与维护
    第11章　大数据环境的应用实战
    11.1　某运营商大数据环境
    11.2　准备大数据集群环境
    11.3　部署Hadoop集群
    11.4　部署后Hadoop初始化与验证
    第12章　Ansible管理Windows系统
    12.1　Ansible管理Windows工作原理
    12.2　搭建Ansible管理工作组Windows环境
    12.3　搭建Ansible管理活动目录Windows环境
    12.4　支持管理Windows模块
    12.5　常用Windows管理实例
    第13章　网络自动化管理的应用实战
    13.1　网络管理也自动化了
    13.2　Ansible官方集成的网络角色
    13.3　生成配置文件及部署
    13.4　通过SNMP方式配置网络
    13.5　网络设备厂商提供接口实现自动化
    第14章　Ansible API
    14.1　runner API
    14.2　playbook API
    14.3　使用Flask封装Ansible API
    14.4　使用Celery实现任务异步化
    14.5　使用jQuery Ajax异步请求
35. 
     
    
    
    
40. 
     
     
46. 
     
     
48. 
     
     
50. 
     
55. 
     
61. 
     
62. 
     
63. 
     
     
65. 
     
     
     
     
67. 
     
72. 
     
73. 
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
74. 
     
     
     
     
79. 
       
81. 
    
88. 
     
89. 
     
     
90. 
     
     
91. 
       
    
    
    
    
    

"