Python在数据分析和挖掘中的应用

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com

课程简介

Python作为一门容易上手、结构清晰、功能强大的高级语言，目前正风靡全球，在包括金融行业在内的诸多行业得到了广泛应用。

本课程首先介绍python语言的由来、程序基础和基本语句、python的优势和强项，然后介绍字典这一常用的工具应用，并通过字典实现多分支语句，随后介绍python程序的调试过程、excel文件的读写，介绍相关分析、决策树、聚类、关联分析、主成分分析等重要的数据分析的模型的python实现，并讲解如何利用python做网络爬虫、文本数据挖掘等重要功能，最后是python绘图技巧。

本课程内容丰富，贴近实战，有理论有案例有实际操作，落地性强，能够较好地提高学员的编程能力以及数据分析和挖掘能力。

课程适用对象

金融、互联网、通信、汽车、制药等诸多行业对于数据分析有需求的人员。

课程收获

（1）掌握python编程技巧

（2）提升数据采集、分析和挖掘能力

（3）提升文本挖掘能力

课程教学方式

讲师讲授+互动+现场操作+学员练习

课程大纲

1.Python简介

（1）Python安装

（2）python包安装及介绍

（3）Anaconda安装

（4）Pycharm工具的安装

（5）选择python做数据分析的理由

2.Python程序基础

（1）变量

（2）过程与函数

（3）对象

案例：编程即对象，python处理excel文件对象

3.Python基本语句

（1）输入输出语句

（2）条件判断语句

If、else、elseif、嵌套代码块等。

（3）循环语句

包括for、while以及跳出循环的基础技巧。

4.Python数据结构

（1）列表

（2）元祖

（3）字典

（4）集合

案例：利用python字典进行大数量的快速检索

案例：利用字典实现多分支语句

案例：利用集合进行数据的交并集运算

5.python代码的调试过程

（1）运行程序

（2）单步调试

（3）添加断点

（4）添加监视

6.EXCEL和txt格式文本的读写

Python可以读取各种常见的数据格式，但是工作中最常见的还是对于EXCEL和TXT文本的读取，python有专门针对EXCEL和TXT文本的工作包，可以方便地读写，对EXCEL也可以做各种格式：

（1）Xlsx文件的读写

（2）txt文本的读写

7.利用Python做数据分析

Python的强大不在于其编程语言的简洁，而在于其提供了大量的实用分析

包，这里面就囊括了现在流行的数据分析包，调用这些包可以轻易地实现数据分析的各项功能，更重要的是可以实现数据分析功能的自动化，例如一个文件夹下面有100个文件，采用python可以一次性处理完100个文件中数据的决策树操作：

（1）Scikit-learn包简介

（2）相关分析及典型相关分析

（3）聚类功能的实现

（4）回归（包括线性回归和Logistic回归）

（5）决策树的实现

（6）关联分析的实现

（7）主成分分析

案例：利用python聚类算法进行商业客户细分

案例：利用python决策树进行互联网审贷数据分析

8.利用Python进行文本数据挖掘

文本处理是python的一大重要特色功能，可以轻松地实现分词、词频分析、主题分析等重要文本挖掘功能。

（1）文本数据挖掘原理

（2）用jieba做分词停词

（3）用TF-IDF模型做词频和权重分析

（4）用LDA做主题分类分析

案例：某在线旅游网站客服语音数据的挖掘分析

9. Python绘图

（1）matplotlib包简介

（2）各种基本的绘图功能

（3）高级绘图功能

纪老师

本科毕业于大连理工大学计算机系，硕士和博士均毕业于复旦大学。长期从事数据分析、python、powerbi、VBA、人工智能、大数据、数字化转型、市场调查、EXCEL、信息检索与收集、Access、PPT、SPSS等方面的培训工作，为上海交通大学EDP中心、上海交通大学海外教育中心、上海交通大学继续教育学院、中智、时代光华（北京）、肯耐珂萨（上海）、益策、华嗣、卓华等国内知名培训机构开设过多次内训和公开课课程。立邦涂料长期合作讲师，华晨宝马长期合作讲师（数据统计分析方向、三年一签）。数据分析方面年授课量在110天左右。

纪贺元相关工作经历如下：

时间工作单位职位工作内容

1993-1995上海贝尔电话设备制造有限公司交换机工程师交换机局数据生成，局数据批量数据处理及分析，IBM大型机上编程分析

1995-1999摩托罗拉上海分公司交换机工程师通信交换机软件测试，switchmate数据整理与分析

1999-2001朗讯科技上海办事处技术支持产品的技术支持，负责相应的数据处理以及产品newsletter的资料收集和发布

2001-2003新加坡比技公司技术市场经理手机相关产品和增值业务的开发工作

2003-2007上海全成通信技术有限公司项目经理中移动和中国电信下属多个省公司的数据分析与挖掘方案的供应商，曾经领导了多个“移动业务营销支撑系统”及中移动省公司数据部和大客户部的数据分析项目

2007-至今数据分析培训师从事数据分析和挖掘方面的培训咨询工作 2017年出版《数据分析实战：基于EXCEL和SPSS系列工具的实践》一书，受到了业界的欢迎，https://item.jd.com/12080023.html。

现在第二本专著《从编程小白到python数据分析高手》已经和机械工业出版社签订出版合同，书稿正在写作中，预计2023年1月出版：

纪贺元曾经在上海贝尔、MOTOROLA、Lucent、新加坡比技公司、上海全成等公司长期工作，在过去的实际工作中，本人积累了较多的在数据分析和挖掘的实战经验， 1995年即开始使用EXCEL VBA对于Motorola电信交换机的运营数据进行分析和编程处理，1998年即开始采用SPSS软件进行数据分析和市场调查报表的分析工作，在新加坡比技公司、上海全成通信等公司组织和领导了多项移动通信增值业务数据的数据挖掘项目（采用COGNOS商业报表软件和CLEMENTINE软件）。

纪老师擅长的课程有：

本人也曾经参与或主持过多项数据分析方面、市场调研等方面的咨询项目，包括 ：

2020年：

（1）基于大数据的基金购买及止盈方式回测

（2）基金随心查项目

2018年：

（3）上海大众2019年培训内部需求调研分析，问卷800多份，包括调研数据分析以及分析报告撰写

（2）天顺风能常熟工厂生产部及BOM运维报表系统，用VBA编程，代码2.3万行

（3）思南智库营帐系统，用VBA编程，代码0.9万行

（4）宝钢集团数据分析轮训（9天，包括宝钢上海下属子公司、宝钢国际、新疆八一钢铁等

2017年：某润滑油企业市场调研数据分析

2016年：

基于百度和bing的类爬虫软件设计和编制

2015年：

上海张江高科科技园政府扶持企业资金投入产出绩效分析项目（分析工具提供）（VBA实现DEA算法）

迪皮埃复材构件（太仓、大丰）两公司生产部报表项目（VBA实现）

某证券私募企业股票指标数据跟踪与分析系统（VBA实现）

上海卷烟销售公司低焦油香烟消费者调研

2014年:

上海印钞厂统计分析培训专题咨询

苏州工业园区软环境满意度调研

上海某涂料公司3-5年发展规划-市场信息检索与利用

2013年：

（1）迪皮埃复材构件（太仓）有限公司，生产部数据流程整合咨询项目（包括VBA编码调试）

（2）上海印钞厂统计分析专题咨询

2011年：

内蒙古杏仁露产品上市前调研

2010年：

我国电子阅读器市场用户消费模式调研

2009年：

格林动力汽车尾气净化剂数据分析

杨浦区商管公司下属商业网点调研

2005年：

2005年上海移动有限公司新产品发展模式市场调研

本人擅长数据分析和市场调研等方面的培训，包括用EXCEL、EXCEL VBA、水晶易表、SPSS、SAS、CLEMENTINE等软件进行营销、生产制造、财务等方面的数据分析。

服务客户（仅列知名企业）：

汽车：上汽大众郑州、永达汽车、东风雪铁龙、东风标致、大陆汽车、奇瑞技术中心、上汽集团、标致雪铁龙、奇瑞汽车、大众汽车、大众联合、大众电子、重庆康明斯、宝马发动机、华晨宝马、优美科（中国）、天合汽车、伟巴斯特、大连中升之星、一汽大众、保时捷、天津壳牌、中石化壳牌

金融：浦发银行、交行总行、平安产险广州分公司、平安银行天津分行、360金融、陆金所、西安招商银行、深圳民生银行、建行第二总行（上海）、富邦华一、江苏中行、太平洋保险（2019轮训，10天）、富邦华一银行、平安银行、广东佛山中国人寿保险、平安产险、平安证券、汇添富基金、成都某贷款公司

医药保健：北京大鹏、因美纳、康宝莱、广州健之宝、赛诺菲、阿斯利康、上海医疗器械集团、国药集团、英特格拉、贝泰妮

互联网：欧冶云商、宝尊电商、携程、蘑菇街

电信：中移在线安徽分公司、台州移动、海南移动、湖州移动、常州移动、北京移动、北京联通、中移在线、深圳电信、中国移动集团公司、中国网通北京分公司、河南移动、杭州华数集团

工业：中广核、北京国投氢能、施耐德、晶科能源、西门子、上海电气、宝武集团、南京巴斯夫、公牛电器、德赛蓝微电子、三洋电池（苏州）、博威合金、上海印钞厂、上海造币厂、江南造船厂、可耐福（石膏板）芜湖、赛默飞世尔、金泰线业、迪皮埃（太仓）

航空：吉祥航空、诺翼航空

食品及厨具：宾三得利、苏泊尔、旺旺食品

商业及超市：华联超市、百联

其他：上海中心、上海外联发、广州景兴、中石化壳牌、浦东新区发改委（统计局）、立邦涂料、上海强生、依视路（中国）、广东国笔、大赛璐（中国）、地中海游轮（上海）

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com