大数据分析与挖掘综合能力提升实战

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com

【课程目标】

本课程为高级课程，培训的内容是继中级课程之后学习的，同时提供了更复杂的数据模型来解决实际工作中的商业决策问题。

本课程面向高级数据分析人员，以及系统开发人员。

本课程核心内容为数据挖掘，分类预测模型，以及专题模型分析，帮助学员构建系统全面的业务分析思维，提升学员的数据分析综合能力。

本课程覆盖了如下内容：

1、数据建模过程

2、分类预测模型

3、分类模型优化思路

4、市场专题分析模型

本系列课程从实际的业务需求出发，结合行业的典型应用特点，围绕实际的商业问题，对数据分析及数据挖掘技术进行了全面的介绍（从数据收集与处理，到数据分析与挖掘，再到数据可视化和报告撰写），通过大量的操作演练，帮助学员掌握数据分析和数据挖掘的思路、方法、表达、工具，从大量的企业经营数据中进行分析，挖掘客户行为特点，帮助运营团队深入理解业务运作，以达到提升学员的数据综合分析能力，支撑运营决策的目的。

通过本课程的学习，达到如下目的：

1、熟悉建模的一般过程，能够独立完成整个预测建模项目的实现。

2、熟练使用各种分类预测模型，以及其应用场景。

3、熟悉模型质量评估的关键指标，掌握模型优化的整体思路。

4、熟练掌握常用市场专题分析模型：

a)学会做市场客户细分，划分客户群

b)学会实现客户价值评估

c)学会产品功能设计与优化

d)掌握产品精准推荐模型，学会推荐产品

e)熟悉产品定价策略，寻找产品最优定价

【授课对象】

业务支撑部、运营分析部、数据分析部、大数据系统开发部等对业务数据分析有较高要求的相关人员。

【课程大纲】

第一部分：数据建模过程

1、预测建模六步法

选择模型：基于业务选择恰当的数据模型

属性筛选：选择对目标变量有显著影响的属性来建模

训练模型：采用合适的算法对模型进行训练，寻找到最合适的模型参数

评估模型：进行评估模型的质量，判断模型是否可用

优化模型：如果评估结果不理想，则需要对模型进行优化

应用模型：如果评估结果满足要求，则可应用模型于业务场景

2、数据挖掘常用的模型

数值预测模型：回归预测、时序预测等

分类预测模型：逻辑回归、决策树、神经网络、支持向量机等

市场细分：聚类、RFM、PCA等

产品推荐：关联分析、协同过滤等

产品优化：回归、随机效用等

产品定价：定价策略/最优定价等

3、属性筛选/特征选择/变量降维

基于变量本身特征

基于相关性判断

因子合并（PCA等）

IV值筛选（评分卡使用）

基于信息增益判断（决策树使用）

4、模型评估

模型质量评估指标：R^2、正确率/查全率/查准率/特异性等

预测值评估指标：MAD、MSE/RMSE、MAPE、概率等

模型评估方法：留出法、K拆交叉验证、自助法等

其它评估：过拟合评估

5、模型优化

优化模型：选择新模型/修改模型

优化数据：新增显著自变量

优化公式：采用新的计算公式

6、模型实现算法（暂略）

7、好模型是优化出来的

案例：通信客户流失分析及预警模型

第二部分：分类预测模型

问题：如何评估客户购买产品的可能性？如何预测客户的购买行为？如何提取某类客户的典型特征？如何向客户精准推荐产品或业务？

1、分类模型概述

2、常见分类预测模型

3、逻辑回归（LR）

逻辑回归模型原理及适用场景

逻辑回归的种类

二项逻辑回归

多项逻辑回归

如何解读逻辑回归方程

带分类自变量的逻辑回归分析

多元逻辑回归

案例：如何评估用户是否会购买某产品（二元逻辑回归）

案例：多品牌选择模型分析（多元逻辑回归）

4、分类决策树（DT）

问题：如何预测客户行为？如何识别潜在客户？

风控：如何识别欠贷者的特征，以及预测欠贷概率？

客户保有：如何识别流失客户特征，以及预测客户流失概率？

决策树分类简介

案例：美国零售商（Target）如何预测少女怀孕

演练：识别银行欠货风险，提取欠贷者的特征

构建决策树的三个关键问题

如何选择最佳属性来构建节点

如何分裂变量

修剪决策树

选择最优属性

熵、基尼索引、分类错误

属性划分增益

如何分裂变量

多元划分与二元划分

连续变量离散化（最优划分点）

修剪决策树

剪枝原则

预剪枝与后剪枝

构建决策树的四个算法

C5.0、CHAID、CART、QUEST

各种算法的比较

如何选择最优分类模型？

案例：商场酸奶购买用户特征提取

案例：客户流失预警与客户挽留

案例：识别拖欠银行货款者的特征，避免不良货款

案例：识别电信诈骗者嘴脸，让通信更安全

5、人工神经网络（ANN）

神经网络概述

神经网络基本原理

神经网络的结构

神经网络的建立步骤

神经网络的关键问题

BP反向传播网络（MLP）

径向基网络（RBF）

案例：评估银行用户拖欠货款的概率

6、判别分析（DA）

判别分析原理

距离判别法

典型判别法

贝叶斯判别法

案例：MBA学生录取判别分析

案例：上市公司类别评估

7、最近邻分类（KNN）

基本原理

关键问题

8、贝叶斯分类（NBN）

贝叶斯分类原理

计算类别属性的条件概率

估计连续属性的条件概率

贝叶斯网络种类：TAN/马尔科夫毯

预测分类概率（计算概率）

案例：评估银行用户拖欠货款的概率

9、支持向量机（SVM）

SVM基本原理

线性可分问题：最大边界超平面

线性不可分问题：特征空间的转换

维空难与核函数

第三部分：分类模型优化

1、集成方法的基本原理：利用弱分类器构建强分类模型

选取多个数据集，构建多个弱分类器

多个弱分类器投票决定

2、集成方法/元算法的种类

Bagging算法

Boosting算法

3、Bagging原理

如何选择数据集

如何进行投票

随机森林

4、Boosting的原理

AdaBoost算法流程

样本选择权重计算公式

分类器投票权重计算公式

第四部分：市场细分模型

问题：我们的客户有几类？各类特征是什么？如何实现客户细分，开发符合细分市场的新产品？如何提取客户特征，从而对产品进行市场定位？

1、市场细分的常用方法

有指导细分

无指导细分

2、聚类分析

如何更好的了解客户群体和市场细分？

如何识别客户群体特征？

如何确定客户要分成多少适当的类别？

聚类方法原理介绍

聚类方法作用及其适用场景

聚类分析的种类

K均值聚类（快速聚类）

案例：移动三大品牌细分市场合适吗？

演练：宝洁公司如何选择新产品试销区域？

演练：如何评选优秀员工？

演练：中国各省份发达程度分析，让数据自动聚类

层次聚类（系统聚类）：发现多个类别

R型聚类与Q型聚类的区别

案例：中移动如何实现客户细分及营销策略

演练：中国省市经济发展情况分析（Q型聚类）

演练：裁判评分的标准衡量，避免“黑哨”（R型聚类）

两步聚类

3、主成分分析

主成分分析方法介绍

主成分分析基本思想

主成分分析步骤

案例：如何评估汽车购买者的客户细分市场

第五部分：客户价值分析

营销问题：如何评估客户的价值？不同的价值客户有何区别对待？

1、如何评价客户生命周期的价值

贴现率与留存率

评估客户的真实价值

使用双向表衡量属性敏感度

变化的边际利润

案例：评估营销行为的合理性

2、RFM模型（客户价值评估）

RFM模型，更深入了解你的客户价值

RFM模型与市场策略

RFM模型与活跃度分析

案例：淘宝客户价值评估与促销名单

案例：重购用户特征分析

第六部分：产品推荐模型

问题：购买A产品的顾客还常常要购买其他什么产品？应该给客户推荐什么产品最有可能被接受？

1、从搜索引擎到推荐引擎

2、常用产品援藏模型及算法

3、基于流行度的推荐

基于排行榜的推荐，适用于刚注册的用户

优化思路：分群推荐

4、基于内容的推荐CBR

关键问题：如何计算物品的相似度

优缺点

优化：Rocchio算法、基于标签的推荐、基于兴趣度的推荐

5、基于用户的推荐

关键问题：如何对用户分类/计算用户的相似度

算法：按属性分类、RFM模型、PCA、聚类、按偏好分类、按地理位置

6、协同过滤的推荐

基于用户的协同过滤

基于物品的协同过滤

冷启动的问题

案例：计算用户相似度、计算物品相似度

7、基于关联分析的推荐

如何制定套餐，实现交叉/捆绑销售

案例：啤酒与尿布、飓风与蛋挞

关联分析模型原理（Association）

关联规则的两个关键参数

支持度

置信度

关联分析的适用场景

案例：购物篮分析与产品捆绑销售/布局优化

案例：通信产品的交叉销售与产品推荐

8、基于分类模型的推荐

9、其它推荐算法

LFM基于隐语义模型

按社交关系

基于时间上下文

10、多推荐引擎的协同工作

第七部分：产品设计优化

1、联合分析法

2、离散选择模型

如何评估客户购买产品的概率

如何指导产品开发？如何确定产品的重要特性

竞争下的产品动态调价

如何评估产品的价格弹性

案例：产品开发与设计分析

案例：品牌价值与价格敏感度分析

案例：纳什均衡价格

3、品牌价值评估

4、新产品市场占有率评估

第八部分：产品定价策略及产品最优定价

营销问题：产品如何实现最优定价？套餐价格如何确定？采用哪些定价策略可达到利润最大化？

1、常见的定价方法

2、产品定价的理论依据

需求曲线与利润最大化

如何求解最优定价

案例：产品最优定价求解

3、如何评估需求曲线

价格弹性

曲线方程（线性、乘幂）

4、如何做产品组合定价

5、如何做产品捆绑/套餐定价

最大收益定价（演进规划求解）

避免价格反转的套餐定价

案例：电信公司的宽带、IPTV、移动电话套餐定价

6、非线性定价原理

要理解支付意愿曲线

支付意愿曲线与需求曲线的异同

案例：双重收费如何定价（如会费+按次计费）

7、阶梯定价策略

案例：电力公司如何做阶梯定价

8、数量折扣定价策略

案例：如何通过折扣来实现薄利多销

9、定价策略的评估与选择

案例：零售公司如何选择最优定价策略

10、航空公司的收益管理

收益管理介绍

如何确定机票预订限制

如何确定机票超售数量

如何评估模型的收益

案例：FBN航空公司如何实现收益管理（预订/超售）

第九部分：信用评分卡模型

1、信用评分卡模型简介

2、评分卡的关键问题

3、信用评分卡建立过程

筛选重要属性

数据集转化

建立分类模型

计算属性分值

确定审批阈值

4、筛选重要属性

属性分段

基本概念：WOE、IV

属性重要性评估

5、数据集转化

连续属性最优分段

计算属性取值的WOE

6、建立分类模型

训练逻辑回归模型

评估模型

得到字段系数

7、计算属性分值

计算补偿与刻度值

计算各字段得分

生成评分卡

8、确定审批阈值

画K-S曲线

计算K-S值

获取最优阈值

第十部分：实战篇

1、电信业客户流失预警和客户挽留模型实战

2、银行欠贷风险预测模型实战

3、银行信用卡评分模型实战

结束：课程总结与问题答疑。

傅老师

华为系大数据专家

计算机软件与理论硕士研究生（研究方向：数据挖掘、搜索引擎）。在华为工作十年，五项国家专利，在华为工作期间获得华为数项奖项，曾在英国、日本、荷兰和比利时等海外市场做项目，对大数据有深入的研究。

傅老师专注于大数据分析与挖掘、机器学习等应用技术，以及大数据系统部署解决方案。旨在将大数据的数据分析、数据挖掘、数据建模应用于行业及商业领域，解决行业实际的问题。

1、让决策更科学：将大数据应用于运营决策，用大数据探索领域发展规律和行业发展趋势，有效分析用户需求，并预测用户行为，最终实现市场变化预测，提升企业科学决策能力。

2、让管理更高效：将大数据应用于企业管理，用大数据呈现企业整体运营情况，诊断企业管理问题和风险，全面理解组织、产品、人员、营销、财务等要素间的相关性，实现企业资源的最优化配置，提升企业管理效率。

3、让营销更精准：将大数据应用于市场营销，解决营销中的用户群细分和品牌定位，客户价值评估，产品设计优化，产品最优定价等实际问题，实现精准营销和精准推荐，以最小的营销成本实现最大化的营销效果。

傅老师目前致力于将大数据技术应用于通信、金融、航空、电商、互联网、政府等领域。傅老师的课程最大特色：实战性强！“围绕业务问题+搭建分析框架+运用分析方法+建立分析模型+熟悉分析工具+形成业务策略”。以商业问题为起点，基于实际的业务应用场景（明确目的），搭建全面系统的业务框架和分析维度（分析思路），选择最合适的方法（分析方法），深入浅出的理论讲解（分析模型），使用简单实用的工具操作（分析工具），对分析结果进行有效的解读（数据可视化），最终形成具体的业务建议，实现业务分析/数据分析的闭环。

应用类：

《大数据分析与数据挖掘综合能力提升实战》

《“数”说营销----大数据营销实战与沙盘》

《市场营销大数据分析实战培训》

《大数据建模与模型优化实战培训》

《大数据分析与挖掘之SPSS工具入门与提高》

《金融行业风险预测模型实战培训》

理论/认知/战略类：

《大数据产业现状及应用创新》

《大数据思维与应用创新》

《大数据时代的精准营销》

技术类：

《Hadoop大数据解决方案开发技术基础培训》

《Python开发基础实战》

《大数据分析与挖掘之Python开发实战》

《Python机器学习算法原理及优化实现》

服务客户:

傅老师曾提供过培训咨询服务的客户遍及通信、金融、交通、制造、政府等行业，包括华为、富士康、平安集团、中国银行、招商银行、光大银行、中信银行、交通银行、广电银通、西部航空、海南航空、中国移动、中国联通、中国电信、西部航空、安能物流、广州地铁、富维江森、东风日产、神南矿业、公交集团、广州税务、良品铺子等单位和公司。

金融行业培训客户：

中国银行：《大数据变革与商业模式创新》《大数据时代的精准营销》

广发银行：《大数据下的精准营销实战》四期

中信银行：《大数据分析与挖掘综合能力提升实战》叁期

交通银行：《大数据时代的精准营销》

安信证券：《大数据时代下的金融发展》

平安集团：《大数据思维与应用创新》

平安产险：《大数据分析综合能力提升》

平安寿险：《大数据分析与应用实战》

平安银行：《大数据思维与应用创新》

农业银行：《Python大数据分析与挖掘》叁期

建设银行：《大数据思维与应用创新》两期

光大银行：《大数据分析与数据挖掘应用实战》四期

招商银行：《“数”说营销----大数据营销实战与沙盘》四期

杭州银货通科技：《大数据产业发展及应用创新》

广电银通：《大数据综合能力提升》

平安普惠金融：《Hadoop解决方案技术培训》

浦发银行：《大数据精准营销》

金融壹帐通：《大数据分析与挖掘综合能力提升实战》

中金所：《大数据思维与应用创新》

……

通信行业培训客户：

联通研究院：《大数据预测建模优化》

广州电信：《大数据时代的精准营销》两期

北京电信：《大数据分析综合能力提升》

香港电信：《大数据精准营销实战》

上海电信：《渠道大数据分析与挖掘思路及方法》两期

河北电信：《数据化运营下的大数据分析综合能力提升实战》

南京电信：《大数据视图支撑精准化营销》

佛山电信：《数据挖掘技术及其应用培训》

泉州电信：《大数据挖掘、信息分析及应用培训》

湖北联通：《大数据分析与商业智能》

广东联通：《数据分析与数据挖掘实战培训》两期

江苏联通：《大数据分析综合能力提升》

吉林联通：《大数据分析综合能力提升-中级》

乌鲁木齐联通：《大数据分析综合能力提升》

上海移动：《大数据分析与挖掘、建模及优化》叁期

浙江移动：《大数据分析与数据挖掘应用实战》

江苏移动：《大数据精准营销技能提升实战》

深圳移动：《大数据分析综合能力提升》

广西移动：《大数据发展趋势及在公司营销领域的应用》

辽宁移动2期：《数据分析方法与经营分析技巧》

泉州移动3期：《数说营销—市场营销数据分析与挖掘应用》

德阳移动2期：《大数据挖掘与建模优化实战培训》

浙江移动：《大数据产品营销能力提升》

四川移动：《大数据分析与挖掘综合能力提升》

吉林移动：《数据分析与数据挖掘培训》；

贵州移动：《“数”说营销----大数据营销实战与沙盘》

海南移动：《基于大数据运营的用户行为分析与精准定位》

山东移动：《大数据分析综合能力提升》

深圳移动：《大数据在行业内外的应用》

中国移动终端公司：《大数据分析综合能力提升培训》

中山移动：《“数”说营销----大数据营销实战与沙盘》

东莞移动：《“数”说营销----大数据营销实战与沙盘》

成都移动：《数字化运营下的数据分析与数据挖掘》

眉山移动2期：《大数据分析综合能力提升》

云浮移动：《大数据挖掘和信息提炼专项培训》

阳江移动：《小数据·大运营--运营数据的分析与挖掘》

德阳移动：《电信运营商市场营销数据挖掘应用典型案例》

陕西在线：《“数”说营销----大数据营销实战与沙盘》

四川在线：《“数”说营销----大数据营销实战与沙盘》

大连移动：《“数”说营销----大数据营销实战与沙盘》

内蒙古移动：《大数据分析与Hadoop大数据解决方案》

贵州中移通信：《SPSS数据分析与数据挖掘应用实战》

华为技术：《话务量预测与排班管理》

……

能源汽车交通行业培训客户：

一汽解放锡柴：《大数据思维与应用创新》

广东邮政：《大数据分析综合能力提升实战》

深圳水务：《大数据思维与应用创新》

宁夏国电：《大数据思维与应用》两期

柳州上汽五菱：《大数据下的精准营销实战》

东风商用：《数说营销实战》

东风日产：《大数据分析与数据挖掘应用实战》两期

富维江森（汽车）：《数字化运营下的数据分析与数据挖掘应用培训》

广州地铁：《大数据分析与数据挖掘培训》两期

广州地铁：《数据分析与数据建模实战》两期

西部航空：《数字化运营下的数据分析与数据挖掘应用培训》

海南航空：《利用大数据营销提升航线收益》

南方航空：《大数据精准营销实战》两期

北京机场贵宾公司：《市场营销数据的分析》

深圳公交集团：《大数据与智慧交通》

延长壳牌：《大数据分析与挖掘综合能力提升》

神南矿业：《大数据产业发展与应用创新》

宝鸡国电：《大数据分析与挖掘》两期

顺丰快递：《大数据分析综合能力提升实战》

……

其它行业培训客户：

岭南集团：《大数据时代下的精准营销》

ABB：《大数据分析实战培训》

顶新国际：《大数据思维与应用创新》

索菲亚：《大数据分析实战培训》

玫琳凯：《大数据思维与应用》叁期

西部数据：《大数据分析综合能力提升》

无限极：《大数据分析综合能力提升》两期

雅图仕：《大数据分析综合能力提升》

施耐德：《大数据分析综合能力提升》叁期

广州税务：《大数据分析与挖掘实战》叁期

YKK吉田拉链：《大数据分析综合能力提升培训》

富士康：《数据分析综合能力提升培训》

贵州中烟：《互联网+时代的大数据思维》

深圳欣盛商：《电商大数据分析》

安能物流：《大数据挖掘分析及应用实战》

良品铺子：《大数据分析综合能力提升》两期

新时代集团：《问题的挖掘、分析—数据分析技巧》两期培训

挑战牧业：《大数据分析综合能力提升》

易鑫集团：《大数据分析综合能力提升》

赣州监狱：《大数据时代的营销》共三期培训

贺州学院：《大数据时代的人才培养》

……

【学员评价】

傅老师是我目前听过的很少忽悠而多干货的老师，能够将理论讲得深入浅出，将案例讲深讲透，将实战讲得易理解易操作。在课堂中，他能把枯燥的数据说得有生命，在课堂上，他能对学员关注和付出。我不是对数据很喜欢的人，但仍然在课堂中能够感觉到数据的生命力。五天的课让我进入到数据构成的多彩、多维的世界，值得！

——学员分享

某金融行业---《大数据变革与商业模式创新》

傅老师运用全面翔实的案例和不拘一格的语言，全方位剖析大数据发展以来在工具、思维和文化上带来的变革，生动阐述数据分析过程六部曲、数据战略七大思维等经典概述，立体呈现大数据时代企业所面临的机遇与挑战。结合当前关注焦点和时代热点话题，傅老师现场分享了第一代传统营销、第二代互联网营销、第三代大数据营销的进阶升级和精准营销实战应用。在为学员呈现一场思维见识领域盛宴的同时，傅老师还与学员进行了积极互动和现场答疑，在相互交流中启迪智慧、开拓思维，在思想碰撞中点燃大数据时代下的创新引擎，为全行在未来发展中进一步把握经济大势、开展前瞻预判、实施精准决策提供了重要思想指引。

吉林某企业——《数据分析与数据挖掘应用培训》 学员：张经理

五天的培训，让我对数据分析与数据挖掘有了进一步的了解，也学到了技术。以前参加过培训，两天的培训我都觉得有时很难，而这次连续五天的培训，我听课过程当中既然感觉到时间过得很快。

贵州某运营商——《“数”说营销----大数据营销实战》 学员：刘经理

傅老师的课程，开拓了我营销的思维，大数据营销，重在利用数据为营销服务。用户细分、用户特征提取、营销费用预算、客户流失预警，原来可以这样利用大数据，以后不再需要“拍脑袋”了,呵呵。

辽宁某运营商——《数据分析与经营分析实战培训》学员：于经理

傅老师的课程全程高能，信息量巨大，我们已经建议公司安排后续高级课程，期待再次学习，点赞！

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com