你写脚本,AI自动剪视频
先展示一下长颈鹿群的全貌。接着镜头切给一只奔跑中的长颈鹿,展示一下它的长腿长脖子。按照指示,再给鬃毛和犄角来个特写,齐活!
是的,不再需要费劲挑选素材,一帧一帧地来回倒腾 需要把你脑海中的创意转化成简短的文字,这个名叫Write-A-Video的AI就能读懂你的心,从选材到剪辑,一站式完成创作。 这就是北航、清华、哈佛和以色列赫兹利亚跨学科研究中心的科学家联手打造的最新AI神器,只需主题脚本,就能生成视频。 用文字创作视频
现在,准备好素材,我们一起来看看,Write-A-Video到底是怎样“写”出一个视频来的 第二步,Write-A-Video会利用关键词,把素材库里与之相匹配的候选片段挑出来。 文本和镜头之间的视觉语义匹配主要包括两个步骤:关键字匹配和视觉语义嵌入。 首先,AI会根据脚本从素材库中检索所有带有关键字标签的视频镜头。 素材库中的所有视频均被分割为快照,便于语义匹配,还能在下一步正式剪辑视频时,让用户用电影术语来指导AI创作。
Write-A-Video的作者,北京航空航天大学的汪淼老师介绍说,Write-A-Video允许用户在输入文本中使用电影术语,以探索每个场景不同的视觉风格,比如调整电影的节奏,画面的调动等。 外,采用基于直方图的分割算法,如果帧与帧之间在HSV色域中的直方图相差超过80%,并且追踪的SURF关键点80%以上不匹配,那么算法就会以这两帧为界,切分镜头。 太长(>30s)或太短(<2s)的镜头也会被舍弃,因为短镜头观感不好,而长镜头会降低效率和可变性
而后,视觉语义嵌入技术会为每个检索到的镜头计算匹配分数,排名最高的镜头就会被选为候选镜头。 (编辑:鞍山站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |