新闻中心 
浪潮信息申请一种混合专家模型路由网络优化专利解决负载不均衡问题提升训练性能
2024-08-05
浏览次数：
次
返回列表金融界 2024 年 8 月 4 日消息，天眼查知识产权信息显示，浪潮电子信息产业股份有限公司申请一项名为“一种混合专家模型路由网络优化方法、产品、装置及介质“，公开号 CN6.7，申请日期为 2024 年 7 月。
专利摘要显示，本发明公开一种混合专家模型路由网络优化方法、产品、装置及介质，涉及语言模型训练技术领域，针对混合专家模型在实际应用中的负载不均衡问题，提供一种混合专家模型路由网络优化方法。本方案可以保证各专家网络具有最基础的语言理解能力，并将数据集进行分解，根据数据特征动态选择激活的专家网络，从而针对性的选取部分星空体育官方入口 星空体育官网样本数据对特定专家模型进行迭代训练，从根本上解决由于负载不均衡导致某些专家网络无法得到有效训练的问题，以增加训练过程的灵活性，提升模型整体的训练性能，可以更好地应用于下游任务。
