ITCOW牛新网 3月15日消息,腾讯携手清华大学、香港科技大学共同研发了一款名为“Follow-Your-Click”的图生视频模型。该模型现已上架GitHub平台,并计划于四月公开其源代码。同时,团队还发表了一篇相关的研究论文,详细介绍了该模型的技术细节和应用前景。

“Follow-Your-Click”模型的核心功能在于其局部动画生成和多对象动画处理能力。这款模型能够识别图像中的不同区域,并根据用户的点击和简短动作提示,为这些区域生成动态效果。无论是微妙的头部调整,还是翅膀的拍动,模型都能以高度逼真的方式呈现出来。

用户在使用该模型时,只需通过简单的点击操作选择希望动画化的区域,并附上少量提示词,即可让图片中原本静态的部分焕发生机。例如,用户可以让一个静态的物体微笑、跳舞或飘动,所有这些效果都可以通过一键转换成视频的形式进行展示。

值得一提的是,“Follow-Your-Click”不仅支持单个对象的动画处理,还能同时对多个对象进行动画化。这一特性大大增加了动画的复杂性和丰富性,使得用户能够轻松创建出包含多个动态元素的场景。无论是制作简单的动画短片,还是为静态图片添加动态效果,这款模型都能提供强大而灵活的支持。

此外,该模型的易用性也是其一大亮点。用户无需具备复杂的操作技能或详细描述动画过程,只需通过简单的点击和短语提示,即可轻松指定希望动画化的区域和动作类型。这种直观的操作方式不仅降低了使用门槛,也让更多人能够享受到图像动画化的乐趣。

附论文地址:DOI:2403.08268