Kaiyun中国金融界2024年12月24日消息，国家知识产权局信息显示，山东浪潮智慧建筑科技有限公司申请一项名为“一种针对大模型的推理优化方法、设备及介质”的专利，公开号CN 119168067 A，申请日期为2024年9月。
专利摘要显示，本申请公开了一种针对大模型的推理优化方法、设备及介质，确定用户输入的待处理提示词对应的多个待处理任务的执行顺序，以按照执行顺序将待处理任务输入至多个任务工具中；确定待处理任务在多个任务工具中分别对应的多维度评分，并根据多维度评分，确定待处理任务对应的目标工具以及目标工具对应的最优工具参数，以将最优工具参数填充至目标工具；基于预先构建的知识图谱，检索待处理提示词的关联历史数据，并将历史数据作为上下文信息，输入至参数填充后的目标工具中；基于提示词蒸馏算法，提取待处理提示词的核心特征向量，并对任务工具中的参数权重进行动态调整，以实现针对大模型的推理优化。
