AI大神李沐老师时隔1年多,终于回归B站“填坑”经典论文精读系列了!
没错,最新主角儿还是Llama-3.1:
在这个18分钟左右的视频中,李沐老师手把手教我们读Llama-3.1技术论文,甚至还爆料了一些八卦。(指路7分50秒左右)
他提到,Llama团队在训练最大模型时,其实一开始同时训练了MoE模型和稠密模型,但是前者后来失败了,所以最后只发了一个简单版本。
更多细节大家可以去看原视频,悄咪咪透露,李沐老师刚一上线,播放瞬间破万了。
一大批研究僧们正闻风赶来,瞧瞧热一就知道大家的精神状态了:
(视频地址在文末领取)
与此同时,大模型竞技场排名更新,Llama-3.1-405B代表开源模型首次跻身竞技场前三,仅次于GPT-4o和Claude-3.5-Sonnet。
当然了,这一结果可能并不意外,Meta官方早就暗戳戳地将这几个作了一番比较。
同样是人类评估,Llama-3.1-405B和另外两个打得不分上下。
另外我们看到,Llama-3.1-405B不仅整体能打,在单项(编码、数学、指令遵循、硬提示)中依然牢牢占据前三。
值得一提的是,Llama-3.1-70B也来到了总榜第9,整体置信水平相较之前有了大幅提高。
不过最令人惊喜的是,与此同时,国外网友也对405B的新战绩发来贺电,更有人“贴心”提醒:
405B只接受过“计算最优”训练,他们(指Meta)本来可以继续前进,下一次迭代将会是惊人的。
Okk,知道Llama-3.1-405B很腻害了!
这不,仅发布一周,网友们已经玩出花了……
拿来搞生产
搞生产第一步,先在本地跑起来试试~
Open Interpreter(一个让LLMs在用户本地运行的项目)技术社区经理为我们展示了他的成果——
让Llama-3.1-8B在树莓派上运行,仅用到CPU。