工作动态

赵海教授做客教师沙龙谈大语言模型及其前沿应用
2023年03月06日

3月2日中午,上海交通大学第三十三期教师沙龙在闵行校区陈瑞球楼举行。本期教师沙龙邀请到电子信息与电气工程学院赵海教授,介绍预训练语言模型发展历程,及以ChatGPT为例的前沿应用。沙龙由党委教师工作部常务副部长陈贤峰主持。

赵海以强人工智能这一概念引入,详细介绍预训练模型的发展过程。现阶段预训练语言模型是通过一般化的大规模训练,提供接近完成的模型,用户通过个体化微调的方式,解决各类下游任务。大语言模型则是预训练语言模型进化的新阶段,在典型模型、模型结构、模型规模、训练方式、涌现能力等多方面都已经发生质的变化。ChatGPT就是面向人机对话用途进行优化的大型语言模型,具有代码编写、提供建议、解释定理、文本摘要、机器翻译等解决通用语言问题的能力,通过对大模型的指令微调以及基于人类反馈的强化学习,从而具有理解多样化的用户意图、多轮对话理解等能力。但同时,ChatGPT也暴露出一些问题,预训练语言模型不管多么强大,表现得多么像真实人类行为,但它依然缺乏对知识性问题的判定能力,未来通过完善知识库建设,提升文本之外的感知力量,ChatGPT将会具备更为强大的语言理解和推理能力。

报告结束后,参会教师积极提问,他们纷纷表示通过赵海老师的科普,对ChatGPT自身原理,以及什么是真正的人工智能有了更为详实的了解。