想象一下一位好莱坞明星用流利的中文解释英语单词。 会是什么样子呢?
B站的UP主“johnhuu”是用AI做到的。 在这段一分半钟的视频中英语,《复仇者联盟》中饰演猩红女巫的演员结合美剧片段,用“中文”解释了同一个英语单词在不同语境下闹出的笑话。 截至目前,该视频在B站的浏览量已达396万次。
此前,“johnhuu”还发布了一段主题为“这是没有电影基调的翻译”的视频,用AI展示斯威夫特说中文。 截至目前,浏览量已达352万次。
与原版英文视频相比,AI在声音、语气、口音等方面基本都能“还原人”,甚至连嘴型都统一了。
目前,“johnhuu”已经利用AI创作了多款明星配音视频,并在其中加入了英语教学内容,最终吸引了网友关注他的英语课程。 这种寓教于乐、寓教于乐的英语教学方式也获得了不少网友的好评。
制作这类AI配音视频需要怎样的流程? AI与英语教学爱好者叠加后的商业前景如何? 除了“johnhuu”之外,还有哪些类似的账号出现? 此类账户面临哪些潜在风险和争议?
只需3步,用AI让明星教你英语
“知识以奇怪的方式进入我的脑海。”
在《johnhuu》的视频弹幕区,经常有网友这样感叹。 同时,他们也感到惊讶的是英语口语教学直播,这段看似自然流畅的视频实际上是由人工智能制作的,而不是由明星自己口授的。
据“johnhuu”在评论区的回复英语口语教学直播,他表示制作这样的视频通常需要满足三个条件:文字组织、声音克隆、嘴型替换。
第一个是文本链接。 无论是汉英翻译还是英汉翻译,都需要结合当地语境,进行地道的语义分析,帮助受众快速融入对话。
在“johnhuu”的英语教学视频中,他经常“借用”名人嘴里的笑话。 例如“勺子”这个词可以有两个意思:勺子和拥抱,然后结合其他影视片段来分解这个笑话。 :
“在点餐的语境中,‘勺子’的意思是我想要一个勺子,但女婿却将其解释为从后面抱住岳父。”
弹幕区一片“哈哈哈”
其次,有健全的克隆。
近日,《头号AI玩家》发表文章《10秒,让OpenAI奥特曼给你配音视频?》 这位80岁的歌手凭借这项技术在网络上出名”,并讨论了相关技术,例如最近流行的ElevenLabs和剪切AI声音克隆功能。我们尝试重现海绵宝宝英语口语教学直播,OpenAI首席执行官Sam Altman,Mei西又懒羊声。
为了让配音更加生动、充满情感变化,AI还利用“情感意图识别”、“情感特征挖掘”、“自然语言处理”等技术用AI让明星教你英语是不是一门好生意?,消除冰冷、不自然的机械感。
详情请查看“第一AI玩家”视频号
完成以上两步后,最后一步就是改变嘴型了。
据顶尖AI玩家介绍,HeyGen、LipDub等网站可以识别说话者的嘴唇动作英语口语教学直播,从而同步嘴型。 相关阅读:《最新AI配音技术登陆荧幕!》 克隆声音+唇形同步,现在“全世界都真正说中文了”
综合以上步骤,我们发现“johnhuu”发布的明星克隆声音+对口型视频创作难度并不大,但由于类型巧妙,加上英语教学内容的加入,获得了较高的评价。意见。
目前,“johnhuu”全网粉丝171万,其中近80%集中在B站,随着AI带来的生产力提升,近期他的视频发布频率也有所提升。 今年1月至2月,他总共发布了13个视频,比去年同期增长了三倍多。
他在小红书评论区表示英语培训,虽然用AI教明星英语视频收视率会更高,但该平台最近因使用频繁而受到限制。 3月2日发布的视频由他本人旁白。 播放量与其他明星AI视频相比有一定差距。
上述视频基本都采用了AI合成技术,其中7个视频的观看次数超过百万。
99元英语课程,商机与风险并存
哪里有流量,哪里就有潜在的商机。
在“johnhuu”的每个视频末尾,他都会添加“关注johnhuu,快乐学英语”的提示,而他的B站首页上也标注了他的淘宝店网址。
目前,“johnhuu教英语”淘宝店已累计粉丝1.7万。 店内列出的三款产品售价均为99元。 累计付款人数超过1600人,累计销售额超过15.8万元。
有很多像“johnhuu”这样将英语教学与有趣的表情包结合起来的人工智能视频创作者。 名人、歌曲片段、影视作品等都可以成为他们的素材库。
比如常鑫的《甄嬛传》就经常被观看。 小红书账号“学笑”截取剧中片段,利用AI将其改编成雍正英语私塾的场景,然后融入相应的知识点。 单个注释的点赞数最高。 达到84,000。
值得一提的是,该账号利用AI重复制作同一场景的视频片段,仅替换对口型台词,直接提升了发布效率。 但最终的结果是“边笑边学”最终催生了销售学习课程。
与传统配音视频不同,上述人工智能生成的改编视频更加自然流畅,从而获得更多流量和关注。
但由于此类视频素材大多取自名人或影视剧,再加上其商业导流模式英语培训,在一定程度上属于侵权行为。 这与bilibili鬼畜区的二代明星视频有异曲同工之妙。 结果,很多“johnhuu”的视频都被下架了。