大数据分析与应用
课程信息
| 课程名称／课程号 | 适用范围与修读要求 |
|---|---|
| 大数据分析与应用 CS4224M |
车辆 · 26级 专业选修 · 模块选修（智能车辆） |
课程简介
展开查看
本课程旨在培养高年级学生了解在不同应用场景下所需要的大数据分析技术与手段,并初步具备解决实际问题的能力。通过对大数据分析基础原理的学习以及课程作业的实践，掌握不同类型大数据（包括高维数据、多媒体大数据、时空大数据、流式大数据、大图数据等）的数据特点以及相应的处理技巧，并能够在Hadoop、Spark以及Flink等分布式处理平台上执行大数据分析任务。
来源：教务网。
课程内容
分数构成
本门课程的评分由课程作业和综合性课程设计2部分组成，每部分分数分配如下：
课程作业：共3次，每次占比20%，总计60％
综合性课程设计40%：共1次，占比40％。
课程大纲
展开查看
（说明：深入梳理课程教学内容，结合不同课程特点、思维方法和价值理念，深入挖掘课程思政元素，大力开展线上线下教学方法改革。）
教学方式以线下教学为主，线上同步直播。
- 大数据分析导论（2学时）
主要内容：列举常见的大数据类型，并介绍其数据处理手段及典型应用场景，包括大数据捕获、预处理、存储、索引、分析等任务。
课程思政融入点：介绍我国大数据分析代表性工作，如城市大脑、雪亮工程等案例。
阅读材料：课件。
- MapReduce分布式计算框架（2学时）
主要内容：介绍分布式文件系统、MapReduce计算框架和基本操作，以及经典的大数据处理平台Hadoop和Spark。
阅读材料：课件。
- 高维大数据处理技术（2学时）
主要内容：介绍PCA和SVD等经典降维手段以及常用的高维数据特征选择算法，并示范高维数据的可视化技术。
阅读材料：课件。
- 大数据相似性查询（2学时）
主要内容：介绍大数据相似性查询的应用场景以及针对不同数据类型的相似性函数定义，并深入讲解以哈希算法为代表的相似性查询加速手段。
阅读材料：课件。
- 多媒体大数据处理技术（2学时）
主要内容：介绍文本、图片、视频等多媒体数据的捕获、存储、索引、挖掘和检索技术，并以多媒体搜索引擎设计为案例讲解多媒体大数据的实战技巧。
阅读材料：课件。
- 时空大数据处理技术（2学时）
主要内容：介绍在GPS轨迹、出行记录等时空大数据的常见处理手段以及它们在智慧城市、智慧交通等场景的应用。
阅读材料：课件。
- 流式大数据处理技术（2学时）
主要内容：介绍常见的流式大数据处理技巧（包括近似查询、算法优化、分布式处理等），并结合Flink系统讲解流式大数据处理的经典案例。
课程思政融入点：介绍陈纯院士的“流立方”系统，该系统获国家科技进步二等奖。
阅读材料：课件。
- 大图数据处理技术（2学时）
主要内容：介绍PageRank等经典的图算法在MapReduce的分布式实现、以及基于社交网络等大图数据的分析和挖掘任务。
阅读材料：课件。