大数据技术及应用

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com

课程大纲

第一讲 大数据概述

（一）教学目的

通过本章的学习掌握大数据基本概念 ，理解大数据的处理流程， 了解大数

据在行业中的应用和未来趋势。

（二） 教学要求

1、解释大数据基本概念；

2、分析大数据的分析处理流程；

3、知道大数据技术应用场景和前景。

（三）教学内容

第一节大数据的概述知识要点： 大数据的定义和特征。

第二节大数据分析的过程、技术及工具知识要点： 大数据的采集、存储方

式、分析技术、展示及应用。

第三节大数据技术的发展前景知识要点： 大数据技术不断发展， 出现更多

的应用项目。

（四）教学重点与难点

1．教学重点： 大数据的基本概念。

2．教学难点： 大数据分析处理的流程。

第二讲 大数据集群系统基础

（一）教学目的

能分析大数据集群 ， 阐明其基本原理； 在虚拟化计算机系统中安装

CentOS 7 操作系统 ，通过 SecureCRT/Xshell 访问 CentOS 7 操作系统 ， 以 三台节点机搭建大数据集群环境。

（二）教学要求

1.掌握虚拟机软件 VMware Workstation 10 及以上和终端仿真程序 SecureCRT/Xshell 的下载、安装和使用方法；

2.掌握 VMware Workstation 10 中安装 CentOS 7 的方法；

3.理解大数据集群相关组成和技术 ，部署大数据集群。

（三）教学内容

第一节 CentOS 大数据集群系统的组成知识要点：CentOS 概念、CentOS 集群系统拓扑图。

第二节 操作实践：大数据集群的部署知识要点：集群规划、网络配置、 安全配置、时间同步、SSH 登录。

（四）教学重点与难点

1．教学重点：VMwareWorkstation、CentOS 7、SecureCRT 的安装和使 用。

2．教学难点： 大数据集群的部署。

第三讲 Hadoop 分布式系统

（一）教学目的

Hadoop 的使用需要搭建一个完整的分布式系统，在理解 Hadoop 工作原 理的基础上配置和运行 Hadoop。

（二）教学要求

1.说明 Hadoop 的运行原理。

2.掌握 Hadoop 环境的安装与配置。

（三）教学内容

第一节 Hadoop 相关技术及生态系统知识要点：构成 Hadoop 生态系统 的相关技术。

第二节 操作实践： Hadoop 安装与配置知识要点： JDK 安装、Hadoop 安装、Hadoop 运行、浏览 Hadoop 页面。

（四）教学重点与难点

1．教学重点：Hadoop 安装过程中 hadoop-en v.sh、yarn-en v.sh、slaves、 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件 的配置。

2．教学难点： Hadoop 安装过程中参数的配置。

第四讲 HDFS 分布式文件系统

（一）教学目的

Hadoop 采用分布式 HDFS，通过本章学习掌握 HDFS 的基本原理，掌握 HDFS

相关的操作命令，并能够应用 Java 对 HDFS 进行编程。

（二） 教学要求

1 ． 了解 HDFS 的特点、架构、数据读取过程、数据写入过程。

2. 掌握 HDFS 操作。

（三）教学内容

第一节 HDFS 知识要点： HDFS 设计前提和设计目标、Namenode 和 Datanode、文件系统的名字空间、数据复制、HDFS 读写流程。

第二节 HDFS 操作实践知识要点： HDFSShell、HDFS JavaAPI、Eclipse 开发环境、综合实例。

（四）教学重点与难点

1．教学重点： HDFS 的原理、数据读写的原理。

2．教学难点:HDFS 综合实例。

第五讲 分布式计算系统—MapReduce 及其应用实例

（一）教学目的

Hadoop 采用分布式计算系统 MapReduce，通过本章的学习，掌握 MapReduce 的基本原理、架构以及工作机制 ，并且掌握 MapReduce 的编程操作，从而运用 到实处。

（二）教学要求

1.分析 MapReduce 的基本原理、架构以及工作机制；

2.操作 MapReduce WordCount 编程和 MapReduce 倒排索引编程 ，实现其应 用。

（三）教学内容

第一节 MapReduce 简介知识要点： MapReduce 架构、原理、工作机制。

第二节 MapReduce 操作实践知识要点： MapReduceWordCount 编程实例、 MapReduce 倒排索引编程实例。

（四）教学重点与难点

1.教学重点： MapReduce 的基本原理、架构以及工作机制等知识内容。

2.教学难点：MapReduce WordCount 编程实例；MapReduce 倒排索引编程实 例

实践课 医药大数据案例分析

（一）教学目的

根据大数据系统的需求分析 ，在 Hadoop 框架下 ，基于 Hbase 数据库，综合 应用各项关键技术完成大数据系统的功能。

（二）教学要求

能在 Hadoop 框架下，综合大数据应用系统编程的原理、技术 ，呈现既定的 运行结果。

（三） 教学内容

第一节 项目概述知识要点： 医药电商大数据分析平台的形成背景。

第二节 功能需求知识要点：流量分析、经营状况分析、大数据可视化系统。 第三节 软件关键技术知识要点： 医药电商大数据分析平台的关键技术。

第四节 效果展示知识要点： 各类分析效果图。

第五节 系统构架设计知识要点：系统的组成、协作方式、网络拓扑、建设 方案。

第六节 数据存储设计知识要点：设计流量数据表、订单数据表、会员评价 表。

第七节 数据分析知识要点：采集、分析数据。第八节 数据展示知识要点： 结果数据展示代码。

（四）教学重点与难点

1.教学重点： 大数据系统的需求分析、Hbase 数据库的建立、程序的设计 与实现。

2.教学难点： 程序的设计与实现。

五 、各教学环节学时分配

第一讲大数据概论

第二讲大数据集群系统基础

第三讲Hadoop 分布式系统

第四讲HDFS 分布式文件系统

第五讲MapReduce 分布式计算

第 6 讲医药大数据案例分析

六 、教学手段与方法

1.教学手段 :本课程主要采用多媒体、课件演示、实验实训等教学手段进行 教学。

2.教学方法 :本课程主要采用任务驱动、案例教学、讲授与讨论相结合等教 学方法进行教学 。课程内容主要按大数据处理任务进行组织 ，因此可以按解决 相应任务所需的方法技术进行教学组织和实践 。在课程的授课过程中 ，对于学 生难以理解的方法技术都给与案例分析，完整展现相应方法技术是如何实施和 应用的 。另外 ，课程教学过程中 ，可以围绕相关大数据处理的任务组织学生进 行讨论，培养学生主动学习、解决问题的能力。

七 、考核方式 、考核内容及成绩评定

1.考核评价方式

1）过程性考核评价方式。本课程的过程性考核评价方式主要包括：考勤、 作业、讨论、随堂提问等。

2）结果性考核评价方式。本课程的结果性考核评价方式主要是期末考查（开 卷）。根据各章知识点，设计期末考查试卷。

八 、课程教材

[1]朝乐门.数据科学[M].北京：清华大学出版社,2020.

[2]朝乐门.数据科学理论与实践[M].北京：清华大学出版社,2019.

[3]周苏,王文.大数据导论[M].清华大学出版社,2020 第一版

[4]许晶华.管理信息系统[M].广州:华南理工大学出版社,2015.

[5]黄梯云.管理信息系统[M].北京:高等教育出版社,2019.

[6]薛华成.管理信息系统[M].北京:清华大学出版社,2020.

李老师

李海良简介

李海良，，暨南大学副教授，硕士生导师，九三学社社员，中山大学工学博士香港城市大学访问学者，广东工业大学校外合作研究生导师。研究方向为深度学习、图像识别、智慧综合能源和能源大数据。在IEEE Transactions on Neural Networks and Learning Systems和Information fusion等TOP期刊第一作者发表SCI论文6篇，主持省级课题2项，参与国家自然科学基金1项。长期担任IEEE Internet of Things Journal、International Journal of Communication Systems、IET Computer Vision、IET Image Processing和 IET Radar, Sonar & Navigation等SCI期刊审稿人。曾获得第六届全国电子信息科学博士生论坛论文成果汇报二等奖（2017），第七届全国电子信息科学博士生论坛论文成果汇报三等奖（2016），2020年12月在INSCRYPT 2020 国际会议担任Session chair。

2018年获得中山大学工学博士学位，2019年至2021年在暨南大学网络安全学院做博后，合作导师为密码学与信息安全领域专家、国家杰青翁健教授。

擅长操作系统和数据库的安全配置，针对注入式、篡改、伪造、流量分析以及窃听等主流攻击方式有深入研究，在人工智能领域，针对对抗样本攻击与防御方面发表多篇SCI论文。

曾参与基于联邦学习的广东海关数据隐私保护系统的研发工作，参与暨南大学与金山毒霸的校园网攻防安全软件的研发工作

参与基于视频图像安全的珠海电力局电缆防外破项目

参与东软集团社保系统和医院管理系统的研发工作

曾经为广东移动、深圳市电力局、肇庆学院、岭南师范学院、华南农业大学、东莞城市学院、电子科技大学中山学院以及郑州航空工业管理学院等知名企业院校提供培训服务，积累了大量的行业培训项目经验。

擅长主讲课程：

《人工智能》《计算机网络》《网络与信息安全》《软件工程》《物联网》《大数据和数据科学》 《网络安全》 《互联网与人工智能》 《网络信息安全与数据安全》 《 高级计算机系统结构》 《物联网技术》 《 云计算与大数据算法设计》 《软件工程》 《 研究方法论》 《物联网技术与发展趋势 《网络空间安全前沿问题研究》 《智能人机交互》 《高级人工智能》 《大数据科学应用》 《信息安全》 《高级软件工程》 《高级算法设计与分析》

获奖经历：

2015年8月 第六届全国电子信息科学博士生论坛论文成果汇报二等奖

2016年8月 第七届全国电子信息科学博士生论坛论文成果汇报三等奖

2020年12月 INSCRYPT 2020 Session chair

学习经历

2014年9月-2018年6月，中山大学，信息与通信工程，博士研究生

2017年7月-2017年9月，香港城市大学，访问学者

工作经历

2019年2月至2021年2月，暨南大学信息科学技术学院，博士后

研究方向

基于注意力机制的神经网络，智慧综合能源和能源大数据。

主要论文

1. Hailiang Li, Jian Weng*,Adaptive Dropout Method Based on Biological Principles，IEEE Transactions on Neural Networks and Learning Systems，vol.32,no.9, pp.4267-4276, Sept. 2021,JCR1区,IF:10.451,TOP期刊

2. Hailiang Li, Jian Weng*, A Defense Method Based on Attention Mechanism Against Traffic sign Adversarial samples,Information Fusion,Volume 76, 2021, Pages 55-65,JCR1区，IF:12.975，TOP期刊

3. Hailiang Li, et al,A Semi-automated Annotation Algorithm Based on Weakly Supervised Learning for Medical Images，Biocybernetics and Biomedical Engineering 40 (2020) pp. 787-802, SCI索引，第一作者，影响因子：4.314

4. Hailiang Li, et al,An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images，Scientific Reprots,(2018) 8:6600，SCI索引，第一作者，影响因子：4.379

5.张宇,李海良*.基于RSA的图像可识别对抗攻击方法[J].网络与信息安全学报,2021,7(05):40-48.通信作者，中国科技核心期刊

承担课题

1. 基于注意力机制的安全性图像识别模型研究与应用，2021广东省普通高校特色创新项目，主持，17.12万元，项目编号：2021KTSCX006；

2. 基于 AIOT 的多维视觉下电力施工人员工作监控与管理系统，广东省科技创新战略专项资金，主持，2万元，项目编号：PDJH2021b0058；

社会职务

广东工业大学，校外合作硕士生导师

我要预订

咨询电话：027-5111 9925 , 027-5111 9926手机：18971071887邮箱：Service@mingketang.com