让“霉霉”、特朗普开口说中文 这款AI软件火了 背后是一家中国公司

更新时间:2023-10-24 20:09:22作者:橙橘网

让“霉霉”、特朗普开口说中文 这款AI软件火了 背后是一家中国公司

《科创板日报》10月24日讯 “AI孙燕姿”之后,又有黑科技出圈。

近日,顶流歌手泰勒•斯威夫特(中国粉丝称她为“霉霉”)操着一口流利普通话的视频在各大社交平台上广泛传播。视频中,霉霉在讲中文时,准确卡点,音色与讲母语时候的音色类似,甚至连口型都能对上。

不止如此,网传热门视频中还出现了说着中文的特朗普、憨豆、埃玛•沃森,以及说着英语的蔡明。除了中英互换之外,国外还有人尝试将英语翻译成日语等其他6种语言,效果同样很不错。

怎么做到的?

据了解,这些视频都使用了AI视频工具HeyGen。创作者只需要上传视频并选择要翻译的语言,该工具可实现自动翻译、调整音色、匹配嘴型。

不过HeyGen并不完美,视频字幕需要创作者添加,此外有创作者表示,如果刻意对比,视频人物在说另一种语言时,情感还原度仍有欠缺。

这不能阻挡该工具的火爆,HeyGen目前已推出付费版,但可免费试用、生成1分钟时长视频,有创作者称排队了7000个视频才完成翻译。


▌背后玩家来自中国 产品上线7个月实现盈利

HeyGen是为视频创作者打造的工具,翻译功能并非其全部。粗略看下来,围绕视频创作,HeyGen的功能十分强大,包括主播换脸、文字转口播视频、创建虚拟主播、语音克隆。

数字人创建是其主推的功能。据HeyGen介绍,即使没有摄像机、摄影棚和演员,普通人也可以通过该工具制作视频。用户只需要用上传一段2分钟的小视频,就能制作一个和真人一样的数字人,即使是像手势、面容和口型这种“细微肢体语言”也能调整。

Joshua Xu就曾亲自上阵,推出了与自己形象一致的数字人。


Joshua Xu的虚拟版

目前其客户包括英伟达、亚马逊、volvo等,产品支持300多种声音、40多种语言,提供超过100+数字人素材和模板,广告、电商、新闻等一应俱全,也可以自己编辑PPT生成。

天眼查数据显示,诗云科技已获得来自红杉中国、真格基金等风投们累计近千万投资。


值得注意的是,HeyGen还是一款已实现盈利的AI应用。该工具制定了非常细化的付费方案,对个人版/企业版进行了分类,可选择包月还是包年,提供加价使用的插件,对于普通用户而言,包年版价格平摊下来,每月需花费24美元/月。



公司在今年4月底发布的博客中透露,产品上线(2022年7月推出)后历时178天,该公司年度经常性收入(ARR,annual recurring revenue)已达到100万美元,上线7个月达到盈利状态。


Joshua Xu曾表示,HeyGen已经积累了数百万个视频数据,也会考虑做视频垂直领域的大模型(LLM)。