“混元现在已经是一个万亿级别参数的MOE架构模型，在中国和全球的大语言模型中，其中文表现已经处于领先水平。”腾讯核心管理层在近期腾讯财报发布后的交流会上，对硅星人等参会者透露。
根据腾讯的财报，2023年第四季度，腾讯营收为 1551.96 亿元，同比增 7%，经调整净利润 426.81 亿元，同比增长 44%。这是一个呈现出反弹之势的财报。而此次财报还有一个明显变化，就是关于AI的篇幅越来越多，包括第一次透露混元的模型架构是MOE，以及它的参数规模。
这些剧透是明显的信号——在交出一个“V”字形反弹的财报，且储备了充足的资源后，腾讯在AI和大模型上的进展将会加速走到台前。
用AI提升关键领域广告点击率
腾讯在大模型狂热中显得低调。在此前的股东大会上马化腾曾形容，今天是百年不遇的相当于发明电一样的工业革命级机会，但对于这样的机遇，早一个月拿出来灯泡在更长时间维度来看并不重要。这样的表述让人好奇腾讯在AI上是否过于保守。
不过从马化腾和其他几位腾讯高管在这次小范围沟通中透露的信息来看，腾讯的AI策略其实并不保守。这家2023年全年研发投入达到640亿人民币的公司，第四季度在研发投入上增长3%，达到164亿。
这些投入中，AI是最重要的方向。而总结起来，它在AI上同时做着三件事：用成熟的AI技术提升核心业务表现；跟着最新的技术进展迭代基础模型；同时根据腾讯核心业务来研发对应的模型垂直能力。
而在AI上，腾讯的投入和回报同时发生。“我们升级的广告AI模型让我们可以获得更好的广告点击率并提升了我们的营收。”马化腾说。
腾讯四季度线上广告收入为300 亿人民币，同比增长21%，这“得益于广告技术平台的升级和视频号的更多的广告收入”。
“我们也通过利用神经网络中的更多实时的数据来优化我们的广告定位技术平台，使得我们能够在这个平台上用更加及时的方式，为目标用户去匹配相关的广告。尽管我们广告的加载率较低，但我们整个视频号的广告收入同比增长明显。”刘炽平分享到。据他透露，视频号的广告加载率比短视频平台行业水平低很多。
也就是说AI在给广告带来更高的效益。腾讯针对线上广告的毛利率目前为56.8%，同比增长了12.6%。
而在表现优异的视频号业务上，管理层也把增长归功于推荐引擎技术的改进。
“视频号确实就是不负众望，我觉得它的增长非常迅速，而且潜力还非常大。过去一年它的总用户时长同比增长超过100%，主要推动力就是我们的这个推荐引擎不断的在优化，我们让整个内容生态越来越多元化，越来越健壮。”
“这些不一定是生成式的AI，但这些模型已经产生了很多的收益。”
腾讯版Sora和自己的app？混元今年有大动作
在生成式AI的方向上，腾讯核心管理层也直接点评了混元的能力。
“我们的腾讯混元基础模型在中国的语言模型中属于最靠前的行列。尤其是在高级推理等能力上有明显优势。”
根据腾讯核心管理层的分享，混元模型最重要的依然是作为底座的能力，目前在数学推导、逻辑推理以及多轮对话中性能卓越。
在实现这些能力提升的技术路线上，腾讯看起来在根据最新的技术发展而做着调整。GPT-4出现以后，模型训练的行业内几乎达成一致判断，认为OpenAI的GPT4是一个MOE架构的超大参数模型，而腾讯透露，混元也已“升级”到 MOE 架构，并且拓展到超过万亿的参数的规模。
其实如果真的关注腾讯在AI领域的研究，也会发现这家基于内容和社交的公司在技术方向上的重点布局：
在基础模型上，对训练所需的基础设施进行资金以及研发的投入；在多agent上，腾讯研究了如何用agent的思路来控制所有app的AppAgent，以及一篇干脆名为《More Agents is All you need》的论文，提出大模型的能力会随着agents增多而增加——微信一直是个有成为操作系统潜质的入口，agents的概念可能真会让它的成为一个OS；在多模态上，腾讯团队更是不停有作品发布，包括PhotoMaker，BlockFusion，Paint3D，M2UGen等一系列多模态项目最近相继出现，此外在最近的GDC上，腾讯还发布了一个全生命周期的AI引擎“GiiNEX”，在AI驱动的NPC、场景制作、内容生成等方面为开发者提供AI能力，甚至允许玩家用AI的方式以及设计关卡。
从这些高光论文和成果其实可以看出腾讯在AI研究上的三个重点方向：
基础模型的逻辑能力，多agent的调用能力，和内容上的多模态能力。第一个对应着大模型能力和未来2B业务的真正根基，第二个对应着微信等潜在的未来OS雏形，第三个对应着视频号，游戏等腾讯一众基于内容的核心业务。
而在这些方向中，今年可以期待快速拿出来的“灯泡”，注定是多模态模型和产品。
“在一些扩展能力，包括文生图，文生视频的能力上，我们会在今年争取有更大的一个提升。”刘炽平说。“这个是最重要的重中之重。”
他透露，腾讯会在to B和to C以及内部使用上去多方推进。而相比于已经在云和企微等toB产品上的应用，外界显然更关心它在C端的动作，毕竟这是一个开发了微信和QQ这样国民应用的产品能力最强的公司。
“ToC 方面，其实很明显，我们是会不断的去推进。现阶段是通过小程序去提供混元的能力，给很多用户去测试，在过程当中其实我们也收集了很多各种问题，在帮助混元不断提升它的能力。”刘炽平说。
“接下来我们会根据用户的需求，制造不同的小程序，甚至独立的 APP ，大家可以在今年期待一下。”