正所谓做工作要做好记录，现在，我要开始记录啦。

1、每个视频都是一个图像序列，其内容比一张图像丰富很多,表现力强，信息量大。对视频的分析通常是基于视频帧，但视频帧通常存在大量冗余，对视频帧的提取也存在漏帧、冗余的现象。视频关键帧提取则主要体现视频中各个镜头的显著特征，通过视频关键帧提取能够有效减少视频检索所需要花费的时间，并能够增强视频检索的精确度。

2、关键帧定义：把图像坐标系中每个“视频帧”都叠加在一起，这时镜头中视频帧的特征矢量会在空间中呈现出一个轨迹的状态，而与轨迹中特征值进行对应的“帧”即可称之为关键帧[1]

3、视频具有层次化结构，由场景、镜头和帧三个逻辑单元组成。视频检索常基于帧进行，因此，提取视频的关键帧至关重要[2]

1、关键帧提取思想：对视频序列采用镜头分割的方式，然后在镜头当中获得内容关键帧提取，接着利用“关键帧”来获得底层的形状、纹理和颜色等特征。

2、关键帧提取方法：

（1）全图像序列

​ 镜头边界方法是将镜头中的第一帧和最后一帧（或中间帧）作为关键帧。该方法简单易行，适于内容活动性小或内容保持不变的镜头，但未考虑镜头视觉内容的复杂性，限制了镜头关键帧的个数，提取的关键帧代表性不强，效果不够稳定。

（2）压缩视频

(3) 自定义k值聚类和内容分析的关键帧提取方法[2]

（4）a 基于抽样的关键帧提取[3]

​ 基于抽样的方法是通过随机抽取或在规定的时间间隔内随机抽取视频帧。这种方法简单不实用。

​ b 基于颜色特征的关键帧提取

​ c 基于运动分析的关键帧提取

​ d 基于镜头边界的关键帧提取(*)

​ f 基于聚类的关键帧提取 (可能是最合适的一个了)，我要识别的类别已经确定。

（5）使用3D-CNN提取关键帧[4]

​ 他提出了一种基于语义的视频关键帧提取算法，该算法首先使用层次聚类算法对视频关键帧进行初步提取；然后结合语义相关算法对初步提取的关键帧进行直方图对比去掉冗余帧，确定视频的关键帧；最后通过与其他算法比较，本文提出的算法提取的关键帧冗余度相对小。

（6）首先利用卷积自编码器提取视频帧的深度特征，对其进行 K-means 聚类，在每类视频帧中采用清晰度筛选取出最清晰的视频帧作为初次提取的关键帧；然后利用点密度方法对初次提取的关键帧进行二次优化，得到最终提取的关键帧进行手语识别.[5]

(7) 视频关键帧提取方法一般可分为四大类：

​ 第一类：基于图像内容的方法

​ 第二类：基于运动分析的方法

​ 第三类：基于轨迹曲线点密度特征的关键帧检测算法

​ 第四类：目前主流方法：基于聚类的方法

（8）帧间差法

​ 源自: 以下代码出自zyb_as的github

运动分析流光法进行关键帧提取

源自：AillenAnthony的github

(9) 使用ffmpeg进行关键帧提取

代码见于此处

(10) 使用K-means聚类法

源代码见于此处

这种方法在878帧图片中提取出198帧，冗余度还是比较高。

(11) 使用CNN来保存图片在使用聚类法提取关键帧，这种方法由于TensorFlow环境搭配的有问题，没有实际运行，在这给出链接

和这个

博主使用一分十五秒00000.MP4视频， 共1898帧，分为七类，帧差最大值帧间差法提取的效果很好。k-means聚类法效果不好，原因在于（1）代码是copy 别人的，没有进行优化，（2）博主对帧间聚类方法理论研究浅薄，指导不了实践。

k-means聚类 提出484帧

帧差最大值帧间差法提取出35帧

[1]苏筱涵.深度学习视角下视频关键帧提取与视频检索研究[J].网络安全技术与应用,2020(05):65-66.

[2]王红霞,王磊,晏杉杉.视频检索中的关键帧提取方法研究[J].沈阳理工大学学报,2019,38(03):78-82.

[3]王俊玲,卢新明.基于语义相关的视频关键帧提取算法[J/OL].计算机工程与应用:1-10[2020-11-04].http://kns.cnki.net/kcms/detail/11.2127.TP.20200319.1706.018.html.

[4] 张晓宇,张云华.基于融合特征的视频关键帧提取方法.计算机系统应用,2019,28(11):176–181. http://www.c-s-a.org.cn/1003-3254/7163.html

[5] [1]周舟,韩芳,王直杰.面向手语识别的视频关键帧提取和优化算法[J/OL].华东理工大学学报(自然科学版):1-8[2020-11-05].https://doi.org/10.14135/j.cnki.1006-3080.20191201002.

附录：

1、数字视音频处理知识点小结

[2020-11-04].http://kns.cnki.net/kcms/detail/11.2127.TP.20200319.1706.018.html.

[4] 张晓宇,张云华.基于融合特征的视频关键帧提取方法.计算机系统应用,2019,28(11):176–181. http://www.c-s-a.org.cn/1003-3254/7163.html

[5] [1]周舟,韩芳,王直杰.面向手语识别的视频关键帧提取和优化算法[J/OL].华东理工大学学报(自然科学版):1-8[2020-11-05].https://doi.org/10.14135/j.cnki.1006-3080.20191201002. [6] https://me.csdn.net/cungudafa这位小姐姐的博客

附录：