hadoop大数据技术培训

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com

课程介绍

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。

课程目标

掌握大数据方法体系

掌握Hadoop原理技术

熟悉各项大数据处理手段和工具的使用。

培训对象

全省互联网分析人员

课程内容

第1天

主题Hadoop入门，了解什么是hadoop

1、Hadoop产生背景

2、Hadoop在大数据、云计算中的位置和关系

3、国内外Hadoop应用案例介绍

4、国内Hadoop的课程大纲介绍

5、Hadoop生态圈以及各组成部分的简介

6、Hadoop核心MapReduce

例子说明

主题分布式文件系统HDFS

1、分布式文件系统DFS简介

2、HDFS的系统组成介绍

3、HDFS的组成部分详解

4、副本存放策略及路由规则

5、命令行接口

6、Java接口

7、客户端与HDFS的数据流讲解

8、HDFS的可用性（HA）

第2天

主题初级MapReduce

1、如何理解map、reduce计算模型

2、剖析伪分布式下MapReduce作业的执行过程

3、序列化

4、MapReduce的类型与格式

5、MapReduce开发环境搭建

6、MapReduce应用开发

7、更多示例讲解，熟悉MapReduce算法原理

主题高级MapReduce

1、使用压缩分隔减少输入规模

2、利用Combiner减少中间数据

3、编写Partitioner优化负载均衡

4、MapReduce优化

5、编程实战

第3天

主题Hadoop集群与管理

1、Hadoop集群的搭建

2、Hadoop集群的监控

3、Hadoop集群的管理

4、集群下运行MapReduce程序

主题HBase基础知识

1、HBase定义

2、HBase与RDBMS的对比

3、数据模型

4、系统架构

5、HBase上的MapReduce

6、表的设计

第4天

主题HBase集群及其管理

1、集群的搭建过程讲解

2、集群的监控

3、集群的管理

主题Zookeeper

1、zookeeper的功能

2、zookeeper集群搭建

3、查看zookeeper中数据的存储

第5天

主题Hive

1、数据仓库基础知识

2、Hive定义

3、Hive体系结构简介

4、Hive集群

5、客户端简介

主题HiveQL

1、HiveQL定义

2、HiveQL与SQL的比较

3、数据类型

4、表与表分区概念

5、表的操作与CLI客户端演示

6、数据导入与CLI客户端演示

7、查询数据与CLI客户端演示

8、数据的连接与CLI客户端演示

9、用户自定义函数（UDF）的开发与演示

孙老师

讲师资质

Oracle 数据库 DBA认证

SAS 数据分析高级程序员认证

Hadoop大数据及数据分析讲师

讲师简介

数据库专家。 孙增辉老师多年从事数据库的管理和教学工作。对oracle、sql server、mysql等关系型数据库有丰富的教学经验。对于hive、HBase这些非关系型NoSql数据库也有相当成熟的教学实践。

数据分析讲师。孙增辉老师多年讲授SAS数据分析软件的应用与数据分析实践。对SSPS、R、python等在数据分析方向的教学也有相当经验。

Hadoop大数据、spark大数据分析讲师。自2015年以来，孙增辉老师频繁从事大数据方向的教学工作

Python+人工智能

Openstack云计算技术

Docker应用容器引擎

讲师专长

孙增辉老师在数据库、大数据、数据分析，python+人工智能，这条数据应用链路上，非常擅长。

讲师IT从业经验证明和项目经验证明从业经验：

孙增辉老师从2008您进入数据库行业之后，基本上一直从事数据相关工作。没有脱离这个行业。

项目经验 ：

1.项目名称：华夏银行oracle数据库技术培训

项目描述：孙增辉老师多次在华夏银行进行oracle数据库培训。从2013年至2016年，几乎每年都要进行两三次数据库培训项目。

工作内容：为专业数据库技术部门及非技术相关部门培训数据库技术

2.项目名称：广东移动 鼎湖培训学院 大数据及数据分析

项目描述：长期多次在鼎湖培训中心，多次讲授大数据、大数据分析等相关课程。

工作内容：为专业技术部门及非技术相关部门培训大数据、数据分析技术

3.项目名称：建设银行研发中心 大数据技术培训（北京西城）

项目描述：为研发人员进行大数据技术培训

某银行数据库迁移项目

因业务发展，旧有的系统无法承担业务增长造成的压力，需要将数据库迁移到新的平台。

作为项目负责人，编写实施方案，沟通项目实践窗口，安排方案测试并组织实施。

某银行全国数据库管理员培训项目

为金融机构的oracle数据库管理员提供培训。

金融机构的技术人员一般有较好的技术基础，这对讲师的能力也是一种考验。

作为主讲讲师，讲授相关技术知识。

某银行储蓄数据库性能调优项目

为机构的数据库查询性能提供优化。

由于新业务上线，系统老旧，以及管理能力瓶颈造成的性能无法满足需要，对数据库进行调优。通过优化代码、重新组织存储、合理建设索引等方法完成项目。

作为项目工程师，确认影响范围，组织实施测试，实施调优。

某银行数据库开发项目

审核代码、优化代码在数据库中的执行效率。维护测试数据库、组织测试数据。

作为数据库管理员，提供技术支持。

ORACLE OCP公开课项目

面向社会培训的oracle认证课程。

主要是对oracle数据库的初级学员进行培训。课程内容涉及oracle数据库的全方位知识，知识点全面，深度中等。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

ORACLE 数据库灾备方案 咨询项目

对企业的oracle数据库灾备项目进行咨询。

企业的oracle数据库灾备，是数据安全工作的重点，也是保障数据安全的重要手段。帮助企业完成灾备方案并实施，是一项十分重要的工作。

作为咨询顾问，进行售前技术交流、审核实施方案、安排组织方案测试。

ORACLE系统管理 系列培训/咨询项目

结合各行业企业客户的项目和培训需求，设计、开发相应的课程体系、定制课件、现场培训、系统规划、安装、配置、性能优化、疑难解答等。

作为主讲讲师/咨询顾问，提供技术支持，帮助界定项目范围、时间长度安排。

某大学 计算机学院 oracle培训项目

大学生的oracle数据库培训，与其他数据库培训有所不同。掌握课堂纪律，安排好课程的节奏反而是更重要的部分。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

广东移动 SAS数据分析培训项目

培训项目内容深度要求并不严格，但是移动公司人员对知识的广度要求加大。很多时候培训组织的过程中，都要求按照学员的需求，随时调整讲授内容。这对讲师的讲授经验、项目经验、课程熟悉程度都会有较高要求。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

SAS程序开发

面向社会的SAS公开课。主要内容为数据处理与简单建模。

很多数据分析课程，一开始就讲授建模部分，但是数据的采集、整理、筛选、变换才是一个数据分析师的基本功。本课程的内容主要是数据处理。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

SAS数据分析

主要内容是使用描述统计、相关分析、主成分分析、聚类、回归分析、逻辑回归、方差分析、时间序列分析等方法对数据继续分析处理。

作为主讲讲师，安排课程进度，组织教学实验，维护学习气氛。

工作内容：

组织培训并安排考试考核

讲师认证证书

讲师授课经验广东移动中高级数据库培训

招商银行数据库技术培训

中国征信（北京）公司数据库运维培训

建设银行大数据技术培训

中石油化工oracle项目技术培训

广东移动数据分析培训

上海CDA数据分析师项目培训

泰安烟草数据分析培训

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com