人工智能大模型技术及应用
课程信息
| 课程名称／课程号 | 适用范围与修读要求 |
|---|---|
| 人工智能大模型技术及应用 CSE4025M |
车辆 · 26级 专业选修 · 模块选修（智能车辆） |
课程简介
展开查看
本课程是专为控制科学与工程、信息科学及其他相关专业本科生设计的一门专业选修课，旨在深入探索人工智能领域的前沿技术——大模型技术。通过系统学习与实践操作，学生将全面掌握大模型的基本概念、核心原理、技术发展脉络及主要技术特点，同时培养在前沿科技领域进行独立研究与开发的能力。课程主要包括Transformer、Bert、GPT模型架构详解、大模型训练与系统挑战、优化策略、大模型安全问题与隐私保护技术、应用分析与实践等模块，授课形式为线下授课。
来源：教务网。
课程内容
分数构成
平时成绩（10%）：包括课堂出勤率、参与度、上课提问与讨论表现等。
实验操作（60%）：包括个人实验课原始代码、运行结果、撰写报告、项目展示，从而评估实践技能。
课程论文/大作业（30%）：包括完成课程项目大作业，展现创新思维。
课程大纲
展开查看
每周5学时，8周，总共40学时
周次 |
学时 |
教学内容（要点） |
课程思政融入点和实施方法 |
教学形式（理论、讨论、实践、实验、测试等） |
1.1 大模型介绍与背景 |
2学时 |
？ 介绍大模型的基本概念、发展历程及其通用计算芯片在人工智能领域的重要性 ？ 针对传统模型，讨论大模型的优势与局限性 |
理论讲授 |
|
1.2 深度学习基础及其回顾 |
2学时+1学时实践课 |
？ 复习深度神经网络的基本原理 ？ 深入讲解前馈神经网络、卷积神经网络（CNN）和循环神经网络（RNN）的基本原理，为后续大模型学习奠定理论基础。 ？ 实践课包含环境搭建，卷积神经网络与循环神经网络的实际操作 |
思政融入点：科研精神 案例：以诺贝尔奖、图灵奖得主Hinton，早年在缺乏支持的情况下，长期对人工智能技术研究锲而不舍的精神为例，培养学生坐好科研冷板凳的精神。 |
理论讲授+上机实验 |
2.1 Transformer架构详解 |
2学时 |
？ 详细解析Transformer模型的结构，包括编码器（Encoder）和解码器（Decoder）。 ？ 讲解自注意力机制（Self-Attention）和多头注意力（Multi-Head Attention）的工作原理。 |
理论讲授 |
|
2.2 Transformer的应用及其变体 |
2学时+1学时实践课 |
？ 介绍Transformer在NLP、视觉领域的应用，如机器翻译、文本生成、目标检测等。 ？ 分析一些Transformer的变体模型，如ViT、BERT、GPT等。 ？ 实践课包含Transformer的搭建与实际操作 |
思政融入点：创新精神 案例：以ViT的发展历程为例，反思针对传统卷积神经网络的颠覆性创新历程与发展历程，鼓励学生树立创新精神 |
理论讲授+上机实验 |
3.1 BERT模型介绍 |
2学时 |
？ 深入讲解BERT模型的结构、预训练任务（MLM、NSP）。 ？ 讨论BERT的设计优势与改进空间 |
理论讲授 |
|
3.2 BERT的应用与微调 |
2学时+1学时实践课 |
？ 展示BERT在各类NLP任务中的应用案例。 ？ 讲解如何使用BERT进行模型微调以适应特定任务 ？ 实践课包含BERT模型的微调操作 |
理论讲授+上机实验 |
|
4.1 GPT模型概览 |
2学时 |
？ 介绍GPT（Generative Pre-trained Transformer）系列模型的发展历程。 ？ 讲解GPT如何实现文本生成。 |
理论讲授 |
|
4.2 GPT的进阶应用与局限性 |
2学时+1学时实践课 |
？ 探讨GPT在对话系统、文本摘要、内容创作等领域的应用。 ？ 分析GPT模型的局限性及未来发展方向。 ？ 实践课包含GPT模型的应用实践与系统搭建 |
理论讲授+上机实验 |
|
5.1大模型训练挑战 |
2学时 |
？ 讨论大模型训练过程中的计算资源需求、底层硬件架构并结合课题思政探讨国产芯片的进展等问题。 ？ 介绍分布式训练技术，深入探讨模型并行、流水线优化、数据并行与张量并行技术 |
思政融入点：爱国主义 案例：以5G、通用计算芯片为例，讲述华为、壁仞科技、摩尔线程等中国公司逆流而上，突破芯片卡脖子技术，激发学生爱国情怀 |
理论讲授 |
5.2优化策略与技巧 |
2学时+1学时实践课 |
？ 讲解模型压缩、量化、剪枝等优化技术。 ？ 分享加速大模型训练和推理的实用技巧与微调技术。 |
理论讲授+上机实验 |
|
6.1大模型的安全问题 |
2学时 |
？ 探讨大模型在内容生成、偏见、隐私保护等方面可能引发的伦理与安全问题。 ？ 探讨大模型的安全鲁棒性、对抗攻击、模型后门等实际威胁。 |
理论讲授 |
|
6.2隐私保护技术 |
2学时+1学时实践课 |
？ 介绍差分隐私、联邦学习、同态加密等隐私保护技术。 ？ 分析这些技术在大模型训练和应用中的潜在应用与技术挑战 |
理论讲授+上机实验 |
|
7.1 大模型应用分析 |
2学时 |
？ 选取几个典型的大模型应用案例进行深入分析，如视觉、聊天对话、文本生成等。 ？ 讨论这些案例的成功经验与现存挑战。 |
理论讲授 |
|
7.2大模型应用实践 |
2学时+1学时实践课 |
？ 介绍基于BERT的情感分析、文本生成等应用基础与技术细节 ？ 组织学生分组进行小型的大模型项目实践，如使用BERT进行情感分析。 |
理论讲授+上机实验 |
|
8.1 前沿探索与未来展望 |
2学时 |
？ 介绍大模型领域的最新研究进展和趋势。 ？ 讨论大模型可能带来的社会变革和挑战。 |
思政融入点：伦理道德 案例：大模型技术在快速发展时所可能带来的伦理道德问题及其社会影响 |
理论讲授 |
8.2 课程回顾与总结 |
2学时+1学时实践课 |
？ 回顾整个课程的学习内容，总结关键知识点。 |
理论讲授+上机实验 |