高并发高性能大容量数据库设计培训

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com

课程背景

随着互联网的快速普及和宽带提速，信息技术深入的渗透至人们生活的每个角落，如智能手机、移动设备等，为人们的生产和生活提供了极大的便利，如办公、购物、休闲、娱乐等，同时，每时每刻产生着海量的数据，对于数据的收集、存储、分析、挖掘、应用、创新提出了巨大的挑战。尤其是在线实时高并发大容量的业务要求软件系统具有高效、高并发、大容量的同时，要保证事务的特征，如ACID，即原子性、一致性、持久性、隔离性，但是针对此应用场景，传统的关系数据库已经无法满足生产实际需求，因此，必须采用新的数据库系统才能解决以上挑战，也即是采用高性能的分布式数据库系统。

针对大数据时代对高并发高性能大容量数据库的需求，尹老师总结多年分布式数据库使用与设计经验，精心打造了分布式数据库课程，该课程从分布式数据库原理、性能、应用实践、性能对比等方面对这些数据库进行全面的剖析与介绍，为企业的技术选型、应用实践奠定理论与实践基础，为企业适应大数据时代做了技术储备。

培训目标

1、本课程介绍高并发高性能大容量分布式数据库系统，包括高并发高性能大容量数据库设计原理、部署方法、优缺点和应用模式等；

2、本课程介绍数据存储架构，包括数据分片、弱的事务、分布式一致性协议算法、强一致性、平滑无限水平扩展节点的分布式数据库；

3、介绍较新的高并发系统分布式缓存集群设计，代表产品有阿里的HBase、Redis、Redis Cluster，并且目前都已经在互联网场景进行了实践，取得了不错的效果；

4、本课程介绍NoSQL原理及分类及使用，这些产品的原理、性能、实践、多个维度对比等方面进行有针对性的剖析，为企业的技术升级做准备。

培训对象

1、本课程适合于高并发高性能大容量数据库设计应用人员；

2、适合于互联网、金融机构等分布式数据库使用人员；

3、适合于大数据、人工智能、数据挖掘人员；

培训方式

以课堂讲解、演示、案例分析为主，辅以互动研讨、现场答疑、学以致用。

课程大纲

第一天

第1个主题：高并发高性能大容量数据库设计（介绍当前主流的高并发高性能大容量数据库设计原理、部署方法、优缺点和应用模式）（60分钟）

1、业界主流的高并发高性能大容量数据库有哪些

2、高并发高性能大容量数据库的应用场景

a)大数据非结构化数据的应用场景

b)大数据历史明细查询的应用场景

c)秒杀高并发的应用场景

d)实时高并发业务的应用场景

e)在线实时统计分析的应用场景

3、高并发高性能大容量数据库的具体应用案例

a)分布式内存库在运营商话单详单查询系统中的应用

b)分布式内存库在金融行业流水业务查询系统中的应用

c)分布式内存库在微博自媒体业务中应用

4、高并发高性能大容量数据库设计原理

5、高并发高性能大容量数据库部署方法

6、高并发高性能大容量数据库优缺点

7、高并发高性能大容量数据库应用模式

8、分布式内存库的特性

9、CAP理论

10、BASE思想

11、RWN理论

12、分布式关系型内存库

a)MySQL Cluster

13、分布式NoSQL列式内存库

a)HBase

b)Cassandra

c)GemFire

14、分布式文档内存库

a)MongoDB

15、高并发系统分布式缓存集群

a)HBase

b)Redis Cluster

16、案例：GemFire在实时交易系统12306的使用案例分享

第2个主题：NoSQL原理及分类及使用（深入剖析NoSQL原理及分类及使用）（60分钟）

1、什么是NoSQL

2、NoSQL基础概念

3、NoSQL种类与特点

4、NoSQL原理

5、NoSQL数据库架构

6、NoSQL分类

7、NoSQL使用

8、内存数据库

9、内存数据库原理

10、内存数据库优劣势剖析

11、单机NoSQL数据库

12、分布式NoSQL数据库

13、典型的NoSQL数据库

14、实例分享：NoSQL数据库案例剖析

第3个主题：Redis基础知识（详细介绍Redis基础知识）（30分钟）

1、Redis简介

2、Redis安装部署

3、Redis配置详解

4、客户端

5、Redis Key类型

6、Redis String类型

7、Redis Hash类型

8、Redis Set类型和ZSet类型

9、Redis List类型

10、Redis Key超时机制

11、Redis 持久化

12、Redis副本

13、Redis常用命令介绍

第4个主题：高并发系统分布式缓存集群设计（深入介绍高并发系统分布式缓存集群设计）（60分钟）

1、Redis数据库原理

2、Redis数据库应用

3、Redis开发实践（倒排索引）

4、Redis开发调试

5、Redis优化

6、Redis发布订阅机制剖析

7、Redis集群搭建

8、Codis介绍

9、Codis整体设计

10、Codis架构

11、Codis组件介绍

第5个主题：Redis高级管理（深入介绍Redis的高级管理功能）（30分钟）

1、Redis安全

2、Redis加密

3、Redis信号处理

4、Redis连接管理

5、Redis高可用方案

6、Redis监测

7、Redis Benchmarks

第6个主题：HBase查询的优化（深入剖析大数据分布式NoSQL技术及原理，并指导学员如何进行调优）（180分钟）

1、HBase介绍

2、HBase应用

3、HBase的特点

4、HBase逻辑模型

5、HBase列族与列

6、HBase时间戳

7、行式数据库 vs 列式数据库

8、HBase物理模型

9、HBase集群部署优化方案介绍：HBase集群建立时的优化方法

10、倒排索引

11、HBase调优课堂实战案例：假如知道每天的活跃用户为一个集合，如何快速计算自定义时间段内的活跃用户？需要去重的

12、HBase分页查询方案介绍：是否有合适的分页查询方法？

13、HBase按条件快速查询方案介绍：假如rowkey的设计原则是：地区+厂家+拍照方+id+时间戳，如何快速的查找一个id一天的所有存储记录？如何快速查找按地区、厂商、拍照方、自定义时间段内自由排列组合的所有存储记录？

14、HBase Filter

15、HBase Coprocessor

第二天

第7个主题：MongoDB文档数据库（深入剖析MongoDB文档数据库功能与项目应用）（120分钟）

1、什么是MongoDB

2、MongoDB发展现状与趋势

3、介绍MongoDB基础概念

4、MongoDB架构剖析

5、MongoDB文档与集合

6、MongoDB集群搭建

7、MongoDB状态监控

8、MongoDB安全认证

9、MongoDB备份和恢复

10、MongoDB Shell操作

11、MongoDB数据类型

12、文档的增加、修改与删除

13、Java访问MongoDB文档的调试

14、MongoDB查询介绍

15、MongoDB MapReduce统计分析

16、MongoDB索引

17、MongoDB性能优化

18、MongoDB主从复制

19、MongoDB Sharding分片

20、Spark操作MongoDB项目案例：运营商话务数据分析案例剖析

第8个主题：MongoDB文档数据库（深入剖析MongoDB文档数据库功能与项目应用）（90分钟）

1、MongoDB架构剖析

2、MongoDB文档与集合

3、MongoDB集群搭建

4、Java访问MongoDB文档的调试

5、MongoDB查询调优

6、提高读写速度的优化

7、MongoDB MapReduce统计分析

8、MongoDB索引

9、MongoDB性能优化

10、内存的优化方法

11、MongoDB主从复制

12、MongoDB Sharding分片

13、MongoDB副本集、分片集群优化案例：Mongodb副本集、分片集群建立的优化方法？

14、MongoDB优化方案剖析：为什么分片测试读写的速度比副本集要慢？

第9个主题：关系型分布式内存库MySQL Cluster（深入剖析关系型分布式内存库MySQL Cluster数据库功能与实现原理）（90分钟）

1、什么是MySQL Cluster

2、MySQL Cluster发展现状与趋势

3、介绍MySQL Cluster基础概念

4、MySQL Cluster架构剖析

5、NDB Cluster存储引擎

6、无共享体系结构

7、管理(MGM)节点

8、数据节点

9、SQL节点

10、标准MySQL客户端

11、MySQL Cluster应用场景

12、案例分享：MySQL Cluster在电商平台中的应用

第10个主题：数据存储架构（介绍数据存储架构）（30分钟）

1、数据存储架构

2、数据单机版存储架构

3、数据分布式存储架构

4、中心集群

5、去中心化集群

6、关系型数据库

7、层次数据存储架构

8、网状数据存储架构

9、行式数据存储架构

10、行式数据库原理

11、行式数据库架构

12、关系型数据库理论

13、RDBMS

14、行式数据库优劣势剖析

15、列式数据存储架构

16、列式数据库

17、列式数据库原理

18、日志结构文件系统

19、列式数据库架构

20、列式数据库优劣势剖析

第11个主题：分布式事务（介绍分布式事务）（30分钟）

1、强事务ACID

2、弱一致性、强一致性

3、分布式事务

4、两步提交、三步提交

5、分布式技术的存储、计算、算法、开发等能力的完美结合

6、弱事务

7、数据的强一致性

8、分布式一致性协议算法

9、平滑无限水平扩展节点

10、深入分析企业业务数据特点

11、思想的应用

12、事务剖析

13、分布式事务剖析

14、分布式系统的职责分离思想

15、CAP理论

16、BASE思想

17、RWN原理

18、事务的特征ACID

19、弱一致性事务

20、强一致性事务

21、分布式事务

22、两阶段提交

23、三阶段提交

24、数据库事务隔离标准分析

25、ANSI事务隔离级别

26、P1 脏读(“Dirty read”)

27、P2 不可重复读(“Non-repeatable read”)

28、P3 幻读(“Phantom”)

29、基于锁的事务隔离

30、基于快照的事务隔离

31、两阶段提交（2 Phase Commit简称2PC）协议

32、产品应用案例

尹老师

多年从事人工智能、深度学习、大数据、区块链、云计算、物联网研发工作经验，资深软件架构师，数学博士，北航移动云计算硕士，Cloudera大数据认证（图1），项目管理师（PMP）认证（图2），移动云计算专家，主要研究方向包括人工智能、深度学习、机器学习、数据挖掘、数据分析、大数据、云计算、移动开发、互联网营销、电子商务、项目管理等；曾就职于阿里等互联网企业，IBM、华为等知名大型企业，现任某大型知名互联网企业首席架构，负责人工智能、深度学习、机器学习、数据挖掘、数据分析、大数据、区块链、云计算、PaaS平台研发工作。

IT从业近二十年，秉承理论与实践相结合，在学习中实践，在实践中学习，积累了丰富的理论与实践经验，并且乐于将自己的经验分享。尹老师具有敏锐的目光与头脑，发现并集成整合社会资源，为企业节省资源并创造价值，达到为合作伙伴创收的目的。曾为多家国内知名企业提供培训与咨询，包含阿里集团、华为、中国移动、中国电信、中国联通、当当网、中石油、中石化、中国电网、中国银行、中国工商银行、浦发银行、阿尔卡特朗讯、中航国际等。拥有人工智能、深度学习、机器学习、数据挖掘、数据分析、大数据、区块链、物联网、大流量、高并发、分布式的大型网站架构和设计经验。曾主导过多个人工智能、深度学习、机器学习、数据挖掘、数据分析、区块链、物联网、私有云、公有云建设项目，早些年也主导过ERP、CMS等软件项目，积累了丰富的实践经验，这些项目中包含多个数百万、上千万的大型项目。项目经历：呼叫中心人工智能客服研发项目、贵州省政府云呼叫中心建设项目、广东发展银行电营、运维大数据分析项目、中石油工程设计西南分公司云计算项目评审委员、中石油大数据挖掘项目，电商库存预测大数据分析项目、大型ERP、电子商务、CRM、电子政务等多个项目。

尹老师在工作中研究新技术、新框架、及时更新知识体系，并长期坚持编写架构核心代码。在技术平台方面，善于TensorFlow、Keras、Hadoop、Spark、Docker、Kubernetes、OpenStack、Storm等技术平台的应用与运维。深入理解TensorFlow、Keras、Hadoop、HDFS、HBase、MapReduce、Zookeeper、Hive、Sqoop、BigTable 等人工智能、大数据技术和开源框架理论。对于云计算体系有深刻认识，及独到的见解，如OpenStack的技术架构、安装部署、运维等。在移动云计算方面，善于设计与建设云计算体系；也善于移动云计算相关的咨询与培训。在项目管理方面，善于使用敏捷项目管理方法，把客户的需求变更作为常态，作为软件架构设计的一部分，减少需求变更带来的返工；善于捕捉、挖掘、分析客户需求，为用户提供满意的产品。

讲师经验

1、阿里巴巴集团云计算、大数据、区块链、物联网咨询师

2、百度云计算、大数据、区块链、物联网咨询师及讲师

3、中国移动多省人工智能、大数据、区块链、物联网、云计算特聘讲师

4、中国移动多省Docker特聘讲师

5、中国移动研究院微特聘讲师

6、中国联通总部人工智能、大数据、区块链、物联网、云计算特聘讲师

7、中国电信人工智能、大数据、区块链、物联网、云计算、虚拟化特约讲师

8、中国人民银行人工智能、大数据、区块链、物联网特聘讲师

9、中国工商银行人工智能、大数据、区块链、物联网讲师

10、花旗银行人工智能、大数据、区块链、物联网讲师

11、招商银行人工智能、大数据调优、区块链、物联网讲师

12、中信银行人工智能、分布式数据库、区块链、物联网讲师

13、中国航天三院人工智能、大数据、区块链、物联网咨询师

14、中国石油人工智能、大数据、区块链、物联网、云计算特聘讲师

15、中国石化人工智能、大数据、云计算特聘讲师

16、中国电力科学研究院流计算特聘讲师

17、西安电信十所人工智能、大数据架构设计、区块链、物联网讲师

18、RedHat（中国）大数据咨询师

19、中电28所人工智能、大数据、区块链、物联网特聘讲师

20、北京中电普华人工智能、大数据、区块链、物联网特聘讲师

21、中国石油东方地球物理公司大数据咨询师

22、当当网人工智能、云计算、大数据咨询师

23、北航人工智能、云计算、大数据、区块链、物联网特聘企业讲师

24、阿尔卡特-朗讯（Alcatel-Lucent）虚拟化与OpenStack培训特约讲师

25、中石油工程设计西南分公司云计算数据中心建设项目

26、广东发展信用卡精准营销项目

27、广东发展银行电营、运维大数据分析项目

28、电商库存预测大数据分析项目

29、中航国际大综贸易云计算规划项目咨询、培训讲师

30、北京民生软件SaaS平台研发咨询师

31、北京立达资本项目管理信息系统解决方案咨询师

32、曾任大型ERP、电子商务、CRM、电子政务等项目经理

项目经验

1、云呼叫中心人工智能客服项目研发

2、云呼叫中心PaaS平台首席架构师

3、贵州省政府云呼叫中心建设项目

4、广东发展信用卡智能精准营销项目

5、广东发展银行电营、运维大数据分析、区块链、物联网项目

6、中石油工程设计西南分公司云计算项目评审委员、培训讲师

7、中石油人工智能、大数据挖掘、区块链、物联网项目，项目经理

8、电商库存预测大数据分析项目

9、智能物流、智能供应链管理项目

10、中航国际大综贸易云计算规划项目咨询、培训讲师

11、北京民生软件SaaS平台研发咨询师

12、北京立达资本项目管理信息系统解决方案咨询师

13、曾任大型ERP、电子商务、CRM、电子政务等多个项目的项目经理

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com