数据中台与大数据建设的方法与实践

数据中台与大数据建设的方法与实践

我要报名

课程对象

1，系统架构师、系统分析师、高级程序员、资深开发人员。

2，牵涉到大数据处理的数据中心运行、规划、设计负责人。

3，政府机关，金融保险、移动和互联网等大数据来源单位的负责人。

4，高校、科研院所牵涉到大数据与分布式数据处理的项目负责人。

培训目标

1，全面掌握大数据处理技术的相关知识。

2，学习Spark的核心技术方法以及应用特征。

3，深入使用Spark在大数据实时处理中的使用。

4，掌握BDAS相关工具及其主要功能。

课程大纲

第一讲 数据中台建设（基础篇）

本节要点：

中国的信息化建设开始由IT向着DT转型，在未来的3-5年时间里，各行各业都会陆续建设起来自己的数据中台。只有有了数据中台作为基础，才能落地更多的人工智能应用。然而，什么是数据中台，它有什么功能，该如何建设？本节从DT转型的过程开始梳理，帮助大家准确理解数据中台的建设。

目标：

1、准确理解数据中台，数据驱动，以及数据价值变现

2、在数据中台中实践“尽可能采集数据、更好地整理数据、有效地挖掘数据价值”

3、将“自顶向下”与“自下而上”相结合，制订切实可行的数据中台建设路线图

4、数据中台的技术架构最终落地到分布式大数据技术上

内容：

1、从IT向DT的信息化转型

1）以部门为单位的IT建设及其局限

2）基于SOA架构的IT建设及其局限

3）互联网架构发展及其数据需求

结论：我们需要存储、处理、应用海量数据的能力

2、数据应用成熟度

1）查询统计：数据分散于各业务系统，无质量管控，应用价值低

2）决策支持：数据集中于数据仓库，有质量管控，但局限于数据库、数据采集手段等问题

3）数据中台：让数据产生价值（核心）

3、数据中台

1）尽可能多地收集数据

2）更好地整理归集数据

3）如何去挖掘数据的价值

4、数据中台的建设思路

1）自顶而下

2）自下而上

5、数据中台的技术架构

第二讲 数据中台建设（大数据篇）

本节要点：

数据中台建设的底层技术框架是大数据技术。通过大数据技术，可以为数据中台提供丰富的手段，采集更多的数据、更高效处理数据，以及有更多的方式挖掘数据价值。那么，什么是大数据技术，它们有什么丰富的手段，怎么建设大数据技术中台，去支撑数据中台？

目标：

1、了解大数据技术的运行原理，理解大数据为什么能够高效处理海量数据

2、掌握大数据有哪些丰富的技术，如何支撑数据中台的各个层次的应用

3、掌握大数据技术中台的建设思路，如何封装技术框架、支撑业务应用

内容：

1、传统关系型数据库的设计局限

1）数据量

2）计算能力

3）数据复杂性

2、分布式大数据的设计理念

1）分布式并行计算

2）移动计算而不是移动数据

3）分布式计算发展历程与未来趋势

3、大数据技术及其生态圈

1）Hadoop核心组件：MapReduce，HDFS

2）并行计算框架：Spark vs. MapReduce

3）在线查询：HBase与Impala

4）流式计算：Flink vs. Spark Stream

5）文本索引：Solr vs. ElasticSearch

6）Zookeeper与高可靠架构

7）Kafka分布式队列与日志收集

8）数据挖掘工具：Mahout、SparkR与Spark ML

4、数据中台的大数据技术中台建设

1）数据中台的大数据技术框架

2）数据中台的大数据关键技术

a. Hadoop的工作原理与HDFS

b. Spark的工作原理与分布式内存计算

3）数据中台的大数据技术中台建设

a.将技术框架与业务应用解耦

b.抽象共性、降本增效的思想方法

c.业务层、基础层与技术层的建设思路

第三讲 数据中台建设（数据治理篇）

本节要点：

在数据中台建设中，数据治理起到及其重要的作用，可以有效地进行数据质量管理，为后续的数据应用打下良好的基础。在本节课程中，老师详细拆解，多样化地采集数据，设计ETL过程，进行数据质量管理，运用大数据技术构建数据仓库。

目标：

1、掌握大数据技术结构化与非结构化的数据采集

2、掌握数据中台的ETL过程与数据仓库建设实践

3、如何运用大数据技术进行ETL过程与数据仓库建设

内容：

1、数据中台中数据采集功能的建设思路

1）结构化数据采集（Sqoop框架）及其案例实战

a. Sqoop数据导入设计实战

b. Sqoop数据导出设计实战

c. Sqoop在大数据技术中台中的设计思路

2）非结构化数据采集（flume+kafka+spark streaming）及其案例实战

a. flume+kafka+spark streaming的设计原理

b.用户行为分析的应用实战

2、数据中台中的数据质量管理与数据仓库

1） ETL过程中数据清洗、转换、集成及其应用实战

2）运用大数据技术进行ETL过程的应用实战

a. Spark+Hive的设计原理与实战

b. Spark+Hive在大数据技术中台中的设计思路

3）多维数据模型与数据仓库建设

a. 多维数据模型的概念及其应用实践

b. 雪花模型、星形模型与主题域模型的建设过程

c. 分享在数据仓库建设上遇到的那些“坑”及其解决思路

3、数据中台的质量体系建设

1）数据体系规划：原始数据层、数据仓库层、数据集市层

2）数据资产管理：资产规划、数据治理、标签管理

3）数据质量管理：元数据管理、数据血缘管理

4）数据仓库建设：多维数据建模、事实表、维度表、聚合表

第四讲 数据中台建设（数据应用篇）

本节要点：

数据中台建设的核心就是数据驱动，也就是以数据价值变现为核心，思考如何挖掘数据价值、设计数据产品、形成数据应用，甚至是智能应用。老师将通过一大波的应用案例，带领大家去探寻数据应用的神奇世界，挖掘数据应用世界的神奇宝藏，以及挖掘这些宝藏的金钥匙（思路与方法）

目标：

1、掌握数据价值变现的常见方法（可视化、风控、推荐、人工智能等）

2、掌握基于数据集市的数据建模过程（经验模型、数据模型）

3、掌握如何将数据应用落地到大数据技术中台建设

内容：

1、数据中台的核心是数据价值变现

1）数据可视化

案例：网络运营商大数据监控系统建设过程

2）数据风控

案例：税务系统虚开发票风险监控系统建设过程

3）数字化运营

案例：用户行为分析与数字化运营的建设过程

4）数据挖掘与人工智能

案例：远程智慧医疗平台的人工智能建设过程

2、数据集市的系统建设与数据标签

1）数据集市的概念与应用举例

案例：税务系统虚开发票风险监控系统的数据集市应用

2）数据血缘管理的概念及其设计

a. 数据血缘管理在数据质量管理中的重要作用

b. 数据血缘管理的相关设计及其实践

3）数据标签的分析设计与开发

a. 数据标签的类型与在数据分析中的作用

b. 数据标签融合表及其设计实践

第五讲 数据中台建设（数据服务篇）

本节要点：

数据中台经过一系列的分析处理之后，最终要对外提供数据服务才能价值变现。数据展现与数据服务是价值变现的最后一步，是用户对产品质量最直观的感受。因此，数据服务需要提供良好的用户体验，就需要数据服务“快、准、美”。

目标：

1、掌握在海量数据中离线分析、在线分析与近线分析的设计思路

2、掌握在海量数据中秒级查询的设计思路（数据索引）与实践

3、理解打造支持快速数据分析展现的大数据技术中台建设思路

内容：

1、海量数据的离线分析、在线分析与近线分析

1）离线分析的概念与设计实践

案例：税务系统虚开发票风险监控系统的风险数据离线分析

2）在线分析的概念与设计实践

案例：网络运营商大数据监控系统的实时流量监控

3）近线分析的概念与设计实践

案例：用户行为分析与数字化运营的分析设计过程

2、海量数据的秒级查询的设计实现

1）分布式NoSQL数据库的设计实践

a. 传统关系型数据库的局限与NoSQL数据库

b. MongoDB的工作原理与设计实践

c. HBase的工作原理与设计实践

2）分布式索引ElasticSearch的设计实践

a. ElasticSearch的工作原理与设计实践

b. ElasticSearch的优化与在技术中台中的设计思路

3）分布式MOLAP框架Kylin的设计实践

a. Kylin的工作原理与设计实践

b. Kylin的降维设计与性能优化

3、海量数据的数据服务与数据共享

1）大数据分析报表系统的技术中台建设思路

2）大数据服务共享平台的技术架构与建设思路

范老师

航天信息前首席架构师，畅销书籍《大话重构》作者，规模化敏捷SPC，软件架构及重构的客座讲师，独立咨询顾问。先后参与了数十个国内大型软件项目，涉及国家财政、军工、税务、医疗等领域的大数据建设、风险防控与人工智能研究，互联网及大数据转型的实践者与倡导者。

我要报名

在线报名：数据中台与大数据建设的方法与实践(北京)

其他城市研发管理培训