金融界2025年4月23日消息，国家知识产权局信息显示，中电数据产业集团有限公司;中电数创（北京）科技有限公司申请一项名为“一种基于Fast Parallelism框架的大语言模型训练加速方法及装置”的专利，公开号CN119808869A，申请日期为2024年12月。

专利摘要显示，本发明提出了一种基于Fast Parallelism框架的大语言模型训练加速方法及装置。本发明采用FastParallelism框架在多个GPU上对大语言模型进行训练，Fast Parallelism框架包括张量并行模块、数据并行模块和超参数调节模块；其中，在进行大语言模型训练时，在超参数调节模块设置每次迭代中训练的样本数batch‑size和梯度累计Gradient accumulation；在数据并行模块采用Deepspeed ZeRO数据并行处理策略；在张量并行模块，通过2维、4维上进行分割张量，并结合数据并行模块和超参数调节模块进行大语言模型加速训练。本发明创新设计了FastParallelism框架，该框架采用模块化设计，运用了数据并行和张量并行以及超参数调整等策略，能够对计算机系统的内部性能进行改善，在有限资源条件下，提高大模型训练速度。

天眼查资料显示，中电数据产业集团有限公司，成立于2023年，位于深圳市，是一家以从事互联网和相关服务为主的企业。企业注册资本300000万人民币。通过天眼查大数据分析，中电数据产业集团有限公司共对外投资了8家企业，参与招投标项目91次，财产线索方面有商标信息26条，专利信息126条，此外企业还拥有行政许可2个。

中电数创（北京）科技有限公司，成立于2020年，位于北京市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本5000万人民币。通过天眼查大数据分析，中电数创（北京）科技有限公司参与招投标项目4次，专利信息80条，此外企业还拥有行政许可3个。