晓查发自凹非寺
量子位出品|公众号
对于AI来说，辨识视频里发生了哪些早已不是难事，训练它的方式就是用带有标签的视频数据集进行监督学习。
例如我们给AI看带有“棒球”标签的视频，之后它能够晓得这是哪些运动。但这是远远不够的，我们希望它除了能晓得这是哪些运动，还希望它能预测球何时被投出去。
而且要让AI理解视频里每一帧的内容太难了，由于你不可能逐帧对视频做标记，用监督学习的方式是不切实际的。
所以微软的研究人员提出了一种时间周期一致性学习（TCC）的自监督学习算法，可以在一段连续过程中，找到每一帧和某个具体动作的对应关系。
目前，微软早已开源了TCC的代码，希望让用户才能在自己开发的程序中用上这些最新算法。
TCC原理
当一个人想去倒一杯啤酒时，他会去伸手去拿茶杯、酒瓶或杯子。这是一种按特定次序发生的风波。相同类型的视频就会有类似的时间先后对应关系。
关键帧对于所有倒水视频是相像的，而且存在许多变化诱因，比如视点、物体大小，容器形状或倒水速率的差别。
TCC借助周期一致性原则在相同动作的视频中找到这些对应关系，通过对齐视频来学习有用的视觉表征。
首先，训练算法通过单独提取每位帧来形成视频帧的嵌入。之后选择用于TCC学习的两个视频，使用其中一个作为参考视频，用它的帧嵌入来辨识来自第二个视频相同动作的近来帧。
随着训练过程的进行，嵌入器对在动作的上下文中形成对每位视频帧的语义理解，改善和增加了周期一致性损失。
在右图中，微软展示了使用TCC训练的模型，该模型来自宾夕法尼亚动作数据集中进行俯卧撑练习的人的视频。
图中左边的每位点对应于帧嵌入，点的位置随着当前视频帧动作而变化。虽然在坐姿、光照、身体等方面存在许多差别，TCC还是能在不提供标明的情况将将两个视频同步上去。
微软还将TCC与其它有监督学习算法进行对比。在辨识高尔夫击球和排球扣球这个两个动作时，有监督学习须要50个标记样本能够达到和TCC一样的确切度，而TCC在仅有一个标记样本的情况下就早已有很高确切度了。
实际应用
TCC可以在只有一个标记视频的情况下量子视频，将其它同类视频的动作阶段进行分类，但是可以用参考视频一次对齐多个剪辑视频，做到“神同步”。
下边就是TCC将25个垒球投手视频的动作完全同步到一致的事例：
据悉，TCC还可以将与一个视频中的任何帧相关联的元数据传输到另一视频中。例如将一个倒水视频中的声音传输到另一个视频中，做到音画同步，听上去毫无违和感。
视频地址：微软用TCC算法实现视频声音的迁移_腾讯视频
博客地址：
—完—
真挚急聘
量子位正在招募编辑/记者量子视频，工作地点在上海中关村。期盼有才华、有热情的朋友加入我们！相关细节，请在量子位公众号()对话界面，回复“招聘”两个字。
量子位·头条号签约作者
վ'ᴗ'ի追踪AI技术和产品新动态