AI合成主播

AI合成主播

中文名称 AI合成主播
发布时间 2018年11月7日
开发团队 搜狗
目录导航

产品介绍

发布现场发布现场“AI合成主播”是在搜狗“分身”技术的支持下,通过人脸关键点检测、人脸特征提取、人脸重构、唇语识别、情感迁移等多项前沿技术,并结合语音、图像等多模态信息进行联合建模训练后,生成与真人无异的AI分身模型。该项技术能够将所输入的中英文文本自动生成相应内容的视频,并确保视频中音频和表情、唇动保持自然一致,展现与真人主播无异的信息传达效果。[1]

“AI合成主播”除了有中文“AI合成主播”,同时还有以“联接中外、沟通世界”为使命的英文“AI合成主播”。

发展历程

2018年Q4 第一代AI合成主播主播(语音唇动同步生成)

搜狗与新华社联合推出全球首个AI合成主播——新小浩,首次亮相于2018年11月7日第五届世界互联网大会。

新小浩新小浩

2019年Q1 第二代AI合成主播主播(较为丰富的表情能力)

搜狗与新华社联合推出全球首个AI合成女主播——新小萌;

搜狗与央视财经合推出全球首个AI合成电视主播。

2019年Q1 第二代AI合成主播主播2019年Q1 第二代AI合成主播主播

2019年Q2 第三代AI合成主播主播(站立式、简单的手势动作)

2019年2月19日 ,搜狗公司与新华社新媒体中心联合发布了首个站立式AI合成主播,新的AI合成主播从过去的“坐着播新闻”升级成结合肢体动作的“站立式播报”,标志着“搜狗分身”技术再次取得突破。

站立式AI合成主播站立式AI合成主播

2019年Q3 第四代AI合成主播主播(多语言、多场景播报能力)

2019年6月,新华社、俄罗斯塔斯社和搜狗公司联合推出了全球首个俄语AI合成主播,该主播在未来将被应用于塔斯社的新闻报道中。

俄语AI合成主播俄语AI合成主播

2019年6月,搜狗联合北京互联网法院发布全球首个AI虚拟法官。

AI虚拟法官AI虚拟法官

2019年Q3 第五代AI合成主播主播(对话能力)

2019年9月,搜狗与平安惠普联合推出全球首个AI合成客服。

AI合成客服AI合成客服

2019年Q4 第六代AI合成主播主播(大角度、大幅度动作)

全球首个AI气象主播

AI气象主播AI气象主播

技术原理

技术原理技术原理

“AI合成主播”是搜狗分身技术的一个应用落地。“搜狗分身”技术是搜狗人工智能的核心技术之一,诞生于搜狗“自然交互+知识计算”这一人工智能理念之下。该技术能够利用搜狗的AI能力,从图像表情、声音语言习惯、逻辑思维等层面对AI进行拟人化训练,然后克隆制造人类的AI分身,进而帮助人类提高信息表达和传递的效率。

[2]

研发作用

“AI合成主播”创造性地在新闻媒体领域使用主播真人形象,配合搜狗“分身”的语音、合成等技术模拟真人播报画面,使大众享受到逼真度极高的图像效果。这种播报形式,突破了以往语音图像合成领域中,只能单纯创造虚拟形象,并配合语音输出唇部效果的约束,极大地提高了观众信息获取的真实度。同时,利用“搜狗分身”技术,“AI虚拟主播”还能实时高效地输出音视频合成效果,使用者通过文字键入、语音输入、机器翻译等多种方式输入文本后,将获得实时的播报视频。这种操作方式将极大减少新闻媒体在后期制作的各项成本,让新闻视频的制作效率有了极大的提高。

“AI合成主播”不仅拥有和真人主播同样的播报能力,还能24小时不间断播报,可以第一时间通过AI主播技术解决新闻传播中出现的突发事件报道、应急事件处理,提高新闻报道的时效和质量。

研发意义

“AI合成主播”不仅在全球AI合成领域上实现了技术创新和突破,更是在新闻领域开创了实时音视频与AI真人形象合成的先河,帮助传媒行业在融媒体转型、新闻时效性和跨语种传播能力等方面再上台阶,推动其智能化发展。[3]

产品优势

逼真的形象效果

生成视频表情自然,语音、表情、唇动基本与真人无异,近乎“以假乱真”的效果。

极低的定制成本

用户仅需录制少量音视频数据,即可快速定制,大幅提升新闻报道的时效和质量。

成熟的解决方案

支持音视频流输出和离线视频文件快速导出,提供公有接口调用和私有化部署的多套解决方案,让服务在资源占用和实时性上都能满足要求。

灵活的个性化定制

灵活支持对主播的音色、语种、形象服装、视频背景等的个性化定制。

技术实践

2018年7月11日,搜狗AI合成主播以央视主持人姚雪松为原型,在香港RISE科技峰会上首次亮相。

2018年11月7日,邱浩参与录制的“AI虚拟主播” 在第五届世界互联网大会上发布。

2019年3月3日,以新华社主播屈萌为原型打造的全球首个AI(人工智能)合成女主播“新小萌”正式上岗。

2019年6月6日至8日,在第23届圣彼得堡国际经济论坛上,新华社、俄罗斯塔斯社和搜狗公司联合推出了全球首个俄语AI合成主播。

2019年8月9日,第三届中国“网络文学+”大会开幕式暨高峰论坛在北京亦创国际会展中心盛大开幕。开幕仪式上,搜狗AI合成主播“雅妮”自然流畅的暖场播报被不少与会人士所惊叹。这其实是搜狗分身技术的又一落地,让观众直接感受到AI合成主播对标真人真假难辨的黑科技。

2019年11 月 26 日,由 36 氪举办的“2019WISE新经济之王大会”在北京国际会议中心举行。此次大会由真人主持人和AI合成主播雅妮合作完成了整场大会的主持。搜狗AI合成主播“雅妮”自然流畅、生动有趣的主持风格被不少参会人士所惊叹。

荣誉记录

2019年5月,荣获2019中国国际大数据产业博览会“领先科技成果”奖;

2019年,第六届世界互联网大会“领先科技成果”;

2019年,新快报“新动力”创新产品奖;

2019年,钛媒体T-EDGE“年度前沿科技产品”;

量子位MEET 2020智能未来大会|人工智能与前沿科技峰会,2019中国人工智能最具创新力产品TOP10;

机器之心年2019年度“最具创新AI产品/解决方案”

媒体评论

《参考消息》报道

援引外媒报道称,中国的新闻主播可能面临一些新的竞争——人工智能机器人在播报新闻时可以模仿人的面部表情和举止。

除此之外,《泰晤士报》、福克斯新闻、今日俄罗斯电视台、法兰西24电视台、《新闻周刊》、《洛杉矶时报》、美国国家公共电台等媒体也进行了报道。

《路透社》报道

路透社报道称,这个AI主播是以中国新闻主播邱浩为原型的,它身穿黑西装打着领带。这是中国旨在提升其在人工智能技术方面能力努力的一部分。 

《独立报》报道

英国《独立报》网站则称,新华社的AI主播是一位栩栩如生的数字化播报员,可以通过模仿真人主播的形象和声音朗读文本内容。

在受到赞许的同时,有些媒体认为“AI合成主播”还需要进一步完善。美国《赫芬顿邮报》网站称,新华社似乎知道AI主播是需要不断完善的,正如AI主播在其首次播报中所强调的那样。它说:“作为一名正在研发中的人工智能新闻主播,我知道我需要改进的还有很多。谢谢。”

《南华早报》报道

知名主播在新闻制作中的稀缺资产,现在通过Al,克隆而成的“他们”有能力一天工作24小时。

学者的分析

英国谢菲尔德大学人工智能和机器人学荣誉教授诺埃尔·夏基表示,AI主播是一个不错的尝试,今后我们会看到它不断改进。

SNET称

搜狗技术支撑,新华社亮相了新主播,不细看不知道不是真人。

Theverge评价

Al开始进入官方新闻播报这样的场景,说明技术已不是早期阶段了。

相关百科
返回顶部
产品求购 求购