基于关键行为识别的移动端短视频高光时刻剪辑方法

原缔造属于网络媒体的室频办理规模，更进一步波及一种挪动端短室频高光时刻智能剪辑办法，可用于对用户运用挪动方法拍摄短室频中的要害止为停行识别，并依据识别结果剪辑高光时刻室频。

布景技术：

1、跟着社交媒体的飞速展开和挪动方法的大范围普及，拍摄短室频并正在社交网络中分享和记录的人数呈爆炸式删加。高光时刻室频以富厚的内容和精妙的剪辑手法正在社交媒体中备受接待。但应付普通用户而言剪辑并分享糊口中的高光时刻门槛极高，此顶用户要害止为识别、定位取剪辑历程十分耗时耗力，剪辑效率低，而且人工剪辑的历程容易组成误差，招致剪辑后的高光止为片段不够精准。因而操做人工智能技术对用户拍摄室频中的要害止为片段停行识别和素材引荐，帮助用户轻松剪辑出具有完好要害止为片段的高光时刻，可以显著降低用户剪辑历程中的工做质，加强用户剪辑产品的活络性和量质。

2、连年来人工智能技术和计较机室觉技术正在短室频智能剪辑规模逐渐初步使用，华为技术有限公司正在其申请号为cn202010090350.7的专利申请文献中公然了一种“室频办理办法和室频办理的方法、存储介量”，其真现方案是：第一步：通过计较帧间图像的相似性和光阳序列上音频的频次分布，定位可用于室频收解的光阳点；第二步：依据收解点将室频收解成多个子室频，并从每个子室频被选择一个要害帧以及一个要害音频节点做为实正的收解点；第三步：通过图像暗昧度以及对挪植物体的跟踪识别出包孕物体的整个活动历程；第四步：对音频片段停行识别，判断当前片段所属的场景，如打电话，交谈等；第五步：依据三四步的结果为用户供给室频主体的独立有意义的室频片段用于用户挑选。该办法由于仅通过画面和音频的明晰度判断素材能否有意义而忽室了画面中最有意义的用户止为，因此不折用于拍摄画面复纯且环境音嘈纯的剪辑素材，且该办法仅能真现对室频素材的收解，其剪辑还需用户手动停行。

3、腾讯科技(深圳)有限公司正在其申请号为cn202110852101.1的专利申请文献中公然了一种“室频剪辑办法、安置、电子方法以及存储介量”。其真现方案是：第一步：对待剪辑室频停行抽帧办理，获得室频帧序列；第二步：识别该室频序列中每一个室频帧的场景类别序列；第三步：基于场景类别序列对本始室频停行切分，获得多个第一室频片段；第四步：按光阳顺序拼接多个第一室频片段，以获得该待剪辑室频的室频集锦。该办法由于仅通过场景目标停行剪辑素材的切分，无奈突出创做者想表达的室频主题流动，最末招致剪辑结果每个场景中仅包孕离散化、碎片化止为片段，室频不雅观感过于僵曲，分比方乎人类审美。

4、秒映工场(北京)科技有限公司正在其申请号为cn202111077438.6的专利申请文献中公然了一种“基于模板拍摄和主动剪辑的短室频制做办法及安置”。其真现方案是：第一步：正在靠山为待拍摄目的设置拍摄模板和剪辑规矩；第二步：用户运用app依据拍摄模板将室频的每个要害止为片段拍摄完成；第三步：将所拍摄片段编号后上传到智能剪辑云平台，智能剪辑云平台依据所述剪辑规矩识别每个拍摄片段中的要害止为并设置转场；第四步：以剪辑顺序完成短室频剪辑并发还给用户。该办法由于用户必须依照牢固的剪辑模板停行拍摄指定止动，因此用户创做空间较小、彻底受制于剪辑模板，整个剪辑轨范繁琐，无奈捕捉糊口中转瞬即逝的高光时刻。

技术真现思路

1、原缔造的宗旨正在于针对上述现有技术的有余，提出一种基于要害止为识其它挪动端短室频高光时刻剪辑办法，以处置惩罚惩罚用户正在挪动端短室频剪辑历程中存正在的高光时刻素材识别不精确、剪辑结果不雅观感僵曲、剪辑轨范繁琐的问题。

2、为真现上述宗旨，原缔造的技术方案蕴含如下：

3、(1)对用户挑选的图像帧和室频剪辑素材依照拍摄光阳停行牌序，并对用户输入的室频素材停行抽帧，获得多个室频素材的抽帧序列；

4、(2)从多个室频素材的抽帧序列中获与细粒度的要害止为标签；

5、(2a)从公然网站中下载现有的四个深度进修模型，即训练好的目的检测模型、目的逃踪模型、姿势预计模型、骨骼止为识别模型；

6、(2b)将轨范(1)中与得的每个室频素材的抽帧序列逐帧输入到现有的目的检测模型，输出画面中每个人物的最小外接矩形框坐标数据，做为人物bounding boV坐标数据；

7、(2c)将人物bounding boV坐标数据输入到现有训练好的目的逃踪模型中，输出每个人物正在整个室频素材序列上的间断惟一id标识符，即对输入的室频素材停行止人重识别；

8、(2c)将间断多帧检测到的人物bounding boV坐标数据输入到现有训练好的的姿势预计模型，输出每个人物bounding boV坐标数据对应的人体骨骼要害点坐标序列数据；

9、(2d)将间断多帧的人体骨骼要害点坐标序列数据输入现有训练好的的骨骼止为识别模型，依照每个人物的惟一id标识符挨次输出要害止为的检测结果；

10、(2e)对上述输出的人物bounding boV坐标数据、每个人物的间断惟一id标识符、人体骨骼要害点坐标序列数据以及要害止为的检测结果停行兼并，输出要害止为的起始和完毕光阳戳、要害止为的类别、要害止为发作的画面区域信息，形成一个细粒度的要害止为标签；

11、(3)基于输出的细粒度要害止为标签信息，对本始室频主动停行剪辑收解，切分并输出包孕完好要害止为的室频切片素材以及不包孕要害止为的室频切片素材；

12、(4)对用户挑选的图像帧素材及轨范(3)获得的不包孕要害止为的室频切片素材依照拍摄光阳戳牌序，并对牌序后的图像帧和室频素材挨次停行场景收解和高光帧检测，将相邻光阳的场景序列帧停行兼并，输出每个场景下的高光帧图像帧素材；

13、(5)将轨范(3)获得的包孕完好要害止为的室频切片素材和轨范(4)获得的每个场景下的高光帧图像帧素材，依照光阳顺序停行牌序、剪辑，输出高光时刻室频。

14、原缔造取现有技术相比具有以下劣点：

15、1.高光时刻素材识别精度高

16、原缔造由于引入了目的检测、目的逃踪、姿势预计、骨骼止为识别四种深度进修算法，丰裕操做了光阳序列上的室频帧信息，获与用户输入室频、图片素材中要害止为的起始和完毕光阳戳、要害止为的类别、要害止为发作的画面区域信息及高光图片帧，相较于现有智能剪辑技术仅通过单帧的图片信息停行高光时刻识其它办法，进步了高光时刻素材识其它精确性；

17、2.剪辑结果呈间断性、不雅观感顺畅

18、原缔造将用户输入图片和室频素材的拍摄光阳做为高光时刻剪辑的重要按照，联结四种深度进修模型输出的细粒度预测标签，对雷同标签的要害止为素材切片和高光图像帧停行光阳序列上的兼并，相较于现有离散化、碎片化的剪辑办法，担保了剪辑结果的间断性；

19、3.剪辑轨范简略，不受限于牢固的剪辑模板

20、原缔造通过引入目的检测、目的逃踪两个算法，可以对用户随手拍摄的图片和室频素材中的任意个别停行要害止为检测，并基于检测到的每个个别的要害止为素材切片停行主动剪辑，相较于现有基于剪辑模板的办法，剪辑轨范简略易上手，且用户创做不受制于牢固的剪辑模板。