马斯克开源Grok-1大模型,3140亿参数迄今

类别:业界动态  出处:网络整理  发布于:2024-03-19 11:14:58 | 280 次阅读

  马斯克旗下AI初创企业xAI宣布开源Grok-1大模型。该模型参数量达到3140亿,超过OpenAI GPT-3.5的1750亿,是迄今参数量的开源大语言模型。
  据介绍,备受业界期待的Grok-1是一个混合(Mixture-of-Experts,MOE)大模型,这种MOE架构重点在于提高大模型的训练和推理效率。形象地理解,MOE就像把各个领域的“”集合到了一起,遇到任务派发给不同领域的“”,汇总结论,提升效率。决定每个“”做什么的机制被称为“门控网络”。
  据悉,该混合模型采用了多种神经网络结构,并融入了预训练、迁移学习等先进技术手段,不仅拥有出色的图像识别、语音处理等基础功能,在解决复杂问题时也表现出较高的灵活性和可扩展性。
  目前,xAI已经将Grok-1的权重和架构在GitHub上开源,遵照Apache2.0协议向全球研究人员开放。据了解,未来xAI还计划与其他科研机构进行更紧密的合作,并推动相关标准化工作。同时,他们鼓励各界对Grok-1进行改进优化,并期待看到更多基于这一模型的前沿应用问世。
关键词:马斯克

全年征稿 / 资讯合作

稿件以电子文档的形式交稿,欢迎大家砸稿过来哦!

联系邮箱:3342987809@qq.com

版权与免责声明

凡本网注明“出处:维库电子市场网”的所有作品,版权均属于维库电子市场网,转载请必须注明维库电子市场网,https://www.dzsc.com,违反者本网将追究相关法律责任。

本网转载并注明自其它出处的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品出处,并自负版权等法律责任。

如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。

热点排行

广告