为加快生成式人工智能(AIGC)核心技术研究和创新应用开发,第一财经频道携手华院计算技术(上海)有限公司,打造了首个全数智人主持播报的“直播”类财经节目,完全启用AI数智人主持对话。与此同时,这一AI数智人还多次登上电视屏幕,为广大观众贡献了不少精彩纷呈的财经播报节目。
据了解,第一财经频道此次采用的数智人主播,根据栏目场景需求做到了更加精细化的定制,华院计算基于自研的大规模多模态预训练技术及少样本可控生成技术,仅需采集主持人数分钟自由讲话视频,便创建出了生动的数智人形象,拥有如同真人主播的情感表情、形象气质、语音语调、口唇表情、肢体动作。
利用这一少样本可控生成技术,节目组在后续使用中无需真人出镜,解决拍摄、视频制作周期漫长等一系列问题,可以实现在短时间内即生成一期节目。在这个过程中,用户仅需输入文本,即可实现同音色语音合成、口型同步生成、躯体动作自适应匹配等多位一体的形象生成,输出信息包括声音、姿态、表情、动作等,与输入文本自然匹配。
华院计算为频道提供了端云协同2D真人数智人驱动技术,其中云端算法主要负责声音合成、姿态和表情等内容生成相关任务,而端侧负责将这些内容数智人视频,并保证音频与视频的同步。从而通过超写实数智人进行播报,并结合视频内容理解分析技术实现媒体资源管理,利用多维度标签文本—视觉的语义对齐,以1:1时间实现一键视频生成。
在第一财经新近发布的《秒懂金融》栏目中,除了丰富的股市点评和分析内容外,节目的一大亮点就是除了连线嘉宾为真人外,节目画面中的演播室场景、主持人李婷、现场嘉宾应有为均通过华院计算数智人技术合成,通过文字和语音驱动形成两个数智人对话的神奇画面。
华院计算作为行业内最早布局AI数智人的企业之一,已为政府机构、品牌商家、意见领袖等提供一系列AI数智人产品和解决方案,通过标准化的价格、产品和服务逐步扩大当前市场份额。
华院计算专注人工智能算法研究,目前在数智人领域已与包括金融保险行业的中国人寿、消费行业的联合利华以及传媒领域的第一财经等在内的许多头部企业开启深度合作。
此次与第一财经节目组达成内容生成方面的合作,给AI+传媒这一全新行业带来了新的呈现可能,不仅可以探索文化和科技融合的有效机制,加快发展新型文化业态,形成更多新的文化产业增长点,还能帮助用户快速创作和生成视频内容,同时让优质内容获得乘法效应。
以往,复杂的训练样本数据采集,导致数智人定制过程长、成本高。如今,随着AIGC技术的不断进步,为数智人提供了强大的技术支撑,更高效、更逼真、更智能的“数智人”应用正在广泛落地、适应不同的场景和需求,展现出无限的可能性。越发拟真的外观,自然生动的表情,再加上大语言模型技术加持下具备“最强大脑”,推出更高智慧和个性化定制的的数智人,并可通过技术手段进行批量生产,同时在横向和纵向具强扩展性,为企业在内容运营和传播方面的降本增效带来显著提升。
作者:唐玮婕
文:唐玮婕图:采访对象提供编辑:商慧责任编辑:戎兵
转载此文请注明出处。