浪潮信息发布“源2.0”千亿参数系列大模型

最新信息

浪潮信息发布“源2.0”千亿参数系列大模型
2023-11-27 21:40:00


K图 000977_0
  11月27日,浪潮信息发布旗下开源千亿参数大模型系列“源2.0”。据悉该系列模型免费可商用,有参数值102B(1026亿)、51B(518亿)、2B(21亿)三个版本,相关成果已开源,并提交了研究论文。浪潮信息在其论文中称,源2.0在代码、数学和事实问答等方面的能力测试表现好于Meta的开源大模型Llama 2。

  在算法上,源2.0开发团队提出局部注意力过滤增强机制LFA(Localized Filtering-based Attention),更关注上下文之间的强语义关联。在数据集方面,浪潮信息主要使用中英文书籍、百科、论文等资料。
(文章来源:界面新闻)
免责申明: 本站部分内容转载自国内知名媒体,如有侵权请联系客服删除。

浪潮信息发布“源2.0”千亿参数系列大模型

sitemap.xml sitemap2.xml sitemap3.xml sitemap4.xml