10月26日,腾讯宣布混元大模型升级,正式对外开放“文生图”功能,展示了其在图像自动生成领域的领先能力。升级后的腾讯混元中文能力整体超过GPT3.5,代码能力大幅提升20%,达到业界领先水平。
腾讯对外展示了混元大模型图片生成能力,在语义理解、内容合理和画面质感方面,都做了改善。另外,大模型也用来帮助腾讯内部员工提高效率,减少工作量,用来编写代码。腾讯多个工作平台已经接入大模型。
据介绍,腾讯混元大模型正在不断强化图片、视频、音频等各类模态的处理能力,相关成果也将很快面向外界推出。
文生图
文生图是AIGC领域的核心技术之一,对模型算法、训练平台、算力设施有较高要求。腾讯最早在广告场景进行AI自动生成图像的探索,相比其他大模型,腾讯混元的文生图应用,在人像真实感、场景真实感上有比较明显的优势,同时,在中国风景、动漫游戏等场景等生成上有较好的表现。
在人脸画像方面,输入提示词“生成可爱的亚洲4岁女孩穿着棉质连衣裙,大眼睛,古代中国,摄影风格,汉服”,腾讯混元大模型生成如下:
腾讯认为,大模型很好的理解了“棉质连衣裙”、“汉服”等内容,同时在风格上,也通过建筑和风景等衬托,很好的展示了“古代中国”的风格要求。
此外,输入提示词“一个城市CBD办公楼,现代化设计,高层建筑,玻璃幕墙,近景拍摄,摄影风格,摄影照片”,腾讯混元大模型也交出了比较好的作品。
大模型文生图的难点体现在对提示词的语义理解、生成内容的合理性以及生成图片的效果。针对这三个技术难点,腾讯进行了专项的技术研究,提出了一系列原创算法,来保证生成图片的可用性和画质。
在语义理解方面,腾讯混元采用了中英文双语细粒度的模型。模型同时建模中英文实现双语理解,并通过优化算法提升了模型对细节的感知能力与生成效果,避免多文化差异下的理解错误。
在内容合理性方面,AI生成人体结构和手部经常容易变形。混元文生图通过增强算法模型的图像二维空间位置感知能力,并将人体骨架和人手结构等先验信息引入到生成过程中,让生成的图像结构更合理,减少错误率。
在画面质感方面,混元文生图基于多模型融合的方法,提升生成质感。经过模型算法的优化之后,混元文生图的人像模型,包含发丝、皱纹等细节的效果提升了30%,场景模型,包含草木、波纹等细节的效果提升了25%。
目前该功能已经被用于素材创作、商品合成、游戏出图等多项业务中,在广告业务下的多轮测评中,腾讯混元文生图的案例优秀率和广告主采纳率分别达到86%和26%,均高于同类模型。
写代码
过去一个月,腾讯混元大模型代码、数学能力大幅提升。经过对32种主流语言代码文件、各类计算机书籍和博客的学习增训,腾讯混元代码处理水平提升超过20%,代码处理效果胜出ChatGPT6.34%,在HumanEval公开测试集指标上全面超过Starcoder、Codellama等业界头部开源代码大模型。
只需输入简单的指令如“帮我用前端语言实现一个贪吃蛇”,腾讯混元便能自动生成可运行的代码,快速制作出一个贪吃蛇小游戏。此外,腾讯混元还支持Python、C++、Java、Javascript等多种语言的指令生成,比如输入“用Python画红色的心形线”,腾讯混元会提供代码库选择、安装命令、绘制代码等具体操作步骤的指引。
腾讯内部目前已经有多个开发平台接入了腾讯混元大模型,工程师们可以使用腾讯混元来进行代码生成、代码补全、代码漏洞检测和修复、表格数据处理、数据库查询等工作。
比如,在IDE编程场景中,腾讯工蜂Copilot通过接入混元大模型,可根据注释生成对应代码,或基于上下文智能补全代码,大大提高了编程效率。混元大模型还可以帮助用户进行代码漏洞检测和修复,保障软件开发过程中的安全性。
腾讯混元大模型持续升级背后,有腾讯自研一站式机器学习平台Angel的支撑。AngelPTM训练框架可提供高效的分布式训练解决方案,训练速度相比业界主流框架提升1倍;自研AngelHCF训练框架,具备从蒸馏、微调、压缩到模型加速的完整能力,支持多种模型并行,保证模型的最小化部署及最大化吞吐,推理速度相比业界主流框架FasterTransformer快1.3倍。
作为实用级的通用大模型,腾讯混元大模型的应用场景丰富多样。目前,超过180个腾讯内部业务已接入腾讯混元,包括腾讯会议等。