微软和NVIDIA共同推出迄今为止训练的最大且最强的语言模型

微软和英伟达今天宣布了由DeepSpeed和Megatron驱动的Megatron-Turing自然语言生成模型(MT-NLG),这是迄今为止训练的最大和最强大的解码语言模型。这个模型包括5300亿个参数,与现有最大的模型GPT-3相比,参数数量是其3倍。

访问:

阿里云服务器精选特惠 爆款免费试用3个月

训练这样的大型模型涉及各种挑战,沿着所有的人工智能轴线进行了许多创新和突破。例如,通过紧密合作,英伟达和微软将最先进的GPU加速训练基础设施与尖端的分布式学习软件堆栈相融合,实现了前所未有的训练效率。

微软与NVIDIA建立了高质量的自然语言训练语料库,其中包含数千亿个标记,并共同开发了训练配方,以提高优化效率和稳定性。

图片.png

图片.png

图片.png

您可以从这里了解更多:

https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

对文章打分

微软和NVIDIA共同推出迄今为止训练的最大且最强的语言模型

1 (12%)
已有 条意见

    最新资讯

    加载中...

    今日最热

    加载中...

    300x250.jpg

    热门评论

      Top 10

      招聘


      Advertisment ad adsense googles cpro.baidu.com
      created by ceallan