清华智搜申请基于自适应对比学习的大语言模型知识纠偏专利,显著提升模型回复的真实性指标性能
金融界2025年4月19日消息,国家知识产权局信息显示,清华大学深圳国际研究生院、深圳市智搜信息技术有限公司申请一项名为“一种基于自适应对比学习的大语言模型知识纠偏方法”的专利,公开号CN119808952A,申请日期为2025年1月。
专利摘要显示,本发明提出了一种基于自适应对比学习的大语言模型知识纠偏方法,旨在提高模型在自然语言处理任务中的准确性和可信度。该方法包括以下步骤:S1、将模型知识划分为四个象限,以识别模型对知识的掌握情况。S2、通过设定上限阈值(IK)和下限阈值(IDK),探测模型的知识边界,确定模型对每个问题的信心度量。S3、根据探测结果,收集模型已知和未知的知识数据,构建对比学习数据,包括正样本和负样本。S4、采用自适应对比学习策略,通过拉近正样本和推远负样本,增强模型对知识的掌握能力,同时保持模型的生成能力。实验证明,该方法能显著提升模型回复的真实性指标性能,对于缓解大语言模型的幻觉问题具有重要意义。
本文源自:金融界
作者:情报员