本周,Heygen推出了5.0版本,新增了很多实用的功能,其中包含了新版的AI Studio数字人直播,以及视频翻译和转录功能。登录到后台,就可以尝试Heygen 5.0的新功能。

首先是新版的Heygen Studio。Heygen新增了很多数字人主播,且支持4K高清输出。Heygen Studio同时提供了易操作的界面,让视频编辑变得更加简单。

此外,Video Avatar也完成了更新,支持Face Swap人脸替换功能。

Streaming Avatar数字人直播功能已经完成了内部测试,并面向全部用户开放。直播数字人可以集成到网站中,作为带货机器人或者客服。使用Video Translate功能,可以完成视频的在线翻译和语音克隆,目前已经开放使用。

下面是本周新发布的AI工具:


1.视频智能扩展Motia


这是一个开源的视频扩展工具,可用于预测和扩展视频到指定的比例。Motia可以利用扩散模型,缩小原视频和Out Paintinger区域的差别,实现帧和帧的一致性,同时保证输出视频的质量。在和同级别视频扩展工具的对比中,Motia明显具备更强的连续视频生成能力。


2.漫画文字提取和翻译器


近期,一个名为Manga Image Translator的开源项目发布,可用于提取漫画中的文字,并完成翻译和填充。该工具可以进一步简化漫画翻译的流程。大家可以对比一下原图和自动翻译后的内容。漫画翻译器同时支持多国语言翻译。无论是彩色和黑白的图像,都可以获得不错的效果。点击链接,就可以试用该工具。上传一张动漫图像,右侧可以选择目标语言、输出分辨率和翻译工具。例如,我们可以选择高精度的DTL翻译工具,点击转换按钮,即可快速完成翻译并替代原有的文字,效果非常出色。然后上传一张彩色漫画并翻译成中文。通过多组测试,漫画翻译器可以自动读取文字,并重新进行渲染,大家可以尝试。


3.FreePik新功能
本周,FreePik新增了reimagine功能,可以基于参考图和提示词生成无限张类似的图像。点击上面链接,就可以通过FreePik旗下的Picasso尝试该工具。上传一张参考图,

FreePik就会读取图像生成一段提示词,右侧则会自动生成很多类似的图像。

选择一张喜欢的图像保存到本地,或者完成进一步编辑。除了默认风格,我们还可以在左侧选择数十种的预设,生成不同风格的图像。例如,选择3D生成一张图像,或者切换到CARTOON Style完成风格转换。FreePik为用户提供了每天的免费额度,大家可以尝试。


4.Animate Diff Lightning


本周,字节跳动旗下的Animate Diff Lightning发布,能够进一步提升文本转视频的速度。和之前发布的Animate Diff 模型相比,速度可提升10倍以上。除了具备更快的推理速度,Animate Diff Lightning还可以将参考视频转换为不同风格。Animate Diff Lightning的模型权重已经发布,大家可以自行下载。经过多组测试,Animate Diff Lightning可以在5-7秒钟内生成一段短视频。


5.Anakin


这是一个新推出的一站式AI应用平台,集成了ChatGPT Claude Gemini等主流语言模型,以及图像生成功能。用户可以根据分类选择应用程序和工作流。例如,用户可以免费使用Gemini Pro模型完成内容生成,免费用户每天可获得30点额度。还可使用包括GPT4在内的多种模型。我们还可以在Anakin体验付费的Claude 3 Opus模型。此外,用户还可以通过Anakin创建适合自己的工作流,帮你完成各种复杂的任务,大家可以尝试。


6.Astria
近期,Astria推出了在线图像增强工具,可以修复低分辨率的图像。Astria适用于不同风格的图像,也可以用于增强照片和数码人像。点击视频下方链接,就可以免费使用该工具。上传一张低分辨率的图像,点击Upscale智能放大。左侧为原图,右侧为增强后的画面。

我们可以看到,图像的细节、质感、阴影和光线都得到了质的提升。此外,我们还可以在左下角选择模型,用于匹配不同风格的图像。该工具完全免费,大家可以尝试。


7.Fresco


这是一个零样本视频风格转换工具,可以基于一段提示词完成视频风格切换。Fresco不需要额外训练,可以直接生成多种风格的视频,同时保留视频动作的连贯性。例如,通过改变提示词,把原视频转换成油画、数码、卡通等风格。和同级工具相比,Fresco明显能够生成符合提示词且高度连贯的视频。


0 条评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注