Python编程实验：训练一个语言模型MiniGLM¶
实验目标¶
- 数据预处理：
- 掌握输入数据构造
- 掌握数据处理流程
- 模型训练与微调：
- 实现预训练过程
- 实现有监督微调过程
- 模型部署与评测：
- 实现模型本地部署和运行
- 掌握语言模型的评测标准
实验概述¶
在过去的近一年时间里，科学技术的进展日新月异，给世人带来无数的激动时刻：
2022年11月，OpenAI公布由大型语言模型微调而成的全新对话式AI模型ChatGPT；2023年3月，OpenAI发布多模态大模型GPT-4；同期，清华大学与智谱AI共同推出ChatGLM；……
你也许会有这样的好奇：
训练一个大模型需要具备哪些基础条件呢，比如数据、算法、算力？当具备这些基础条件后，如何开始训练一个大模型呢？大模型训练流程跑通之后，如何评测训练过程是否符合预期呢？以及如何评测模型效果呢？
在本次的实验中，你将实现如下的功能：
- 预训练模型：你可以基于已有的数据集，跑通语言模型流程；
- 收集有监督数据集和微调模型：你可以参考给定的数据集格式，收集同格式的有监督的数据集；你可以基于收集的有监督数据集，进行微调模型。
- 部署模型与评估：你可以部署上一步有监督微调的模型，并对模型进行评测。
最后更新:
2023年9月8日
作者：