opencv-086-视频分析(稠密光流分析)

知识点

光流跟踪方法分为稠密光流跟踪与稀疏光流跟踪算法,KLT是稀疏光流跟踪算法,前面我们已经介绍过了,OpenCV还支持稠密光流的移动对象跟踪方法,OpenCV中支持的稠密光流算法是由Gunner Farneback在2003年提出来的,它是基于前后两帧所有像素点的移动估算算法,其效果要比稀疏光流算法更好。

API

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
void cv::calcOpticalFlowFarneback(
InputArray prev,
InputArray next,
InputOutputArray flow,
double pyr_scale,
int levels,
int winsize,
int iterations,
int poly_n,
double poly_sigma,
int flags
)
prev 前一帧
next 后一帧
flow 光流,计算得到的移动能量场
pyr_scale 金字塔放缩比率
levels 金字塔层级数目
winsize 表示窗口大小
iterations 表示迭代次数
poly_n 表示光流生成时候,对邻域像素的多项式展开,n越大越模糊越稳定
poly_sigma 表示光流多项式展开时候用的高斯系数,n越大,sigma应该适当增加
flags有两个OPTFLOW_USE_INITIAL_FLOW表示使用盒子模糊进行初始化光流
OPTFLOW_FARNEBACK_GAUSSIAN表示使用高斯窗口

代码(c++,python)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
void cv::calcOpticalFlowFarneback(
InputArray prev,
InputArray next,
InputOutputArray flow,
double pyr_scale,
int levels,
int winsize,
int iterations,
int poly_n,
double poly_sigma,
int flags
)
prev 前一帧
next 后一帧
flow 光流,计算得到的移动能量场
pyr_scale 金字塔放缩比率
levels 金字塔层级数目
winsize 表示窗口大小
iterations 表示迭代次数
poly_n 表示光流生成时候,对邻域像素的多项式展开,n越大越模糊越稳定
poly_sigma 表示光流多项式展开时候用的高斯系数,n越大,sigma应该适当增加
flags有两个OPTFLOW_USE_INITIAL_FLOW表示使用盒子模糊进行初始化光流
OPTFLOW_FARNEBACK_GAUSSIAN表示使用高斯窗口
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import cv2 as cv
import numpy as np
cap = cv.VideoCapture("D:/images/video/vtest.avi")
ret, frame1 = cap.read()
prvs = cv.cvtColor(frame1,cv.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255
while(1):
ret, frame2 = cap.read()
next = cv.cvtColor(frame2,cv.COLOR_BGR2GRAY)
flow = cv.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
mag, ang = cv.cartToPolar(flow[...,0], flow[...,1])
hsv[...,0] = ang*180/np.pi/2
hsv[...,2] = cv.normalize(mag,None,0,255,cv.NORM_MINMAX)
bgr = cv.cvtColor(hsv,cv.COLOR_HSV2BGR)
cv.imshow('frame2',bgr)
k = cv.waitKey(30) & 0xff
if k == 27:
break
elif k == ord('s'):
cv.imwrite('opticalfb.png',frame2)
cv.imwrite('opticalhsv.png',bgr)
prvs = next
cap.release()
cv.destroyAllWindows()

结果

代码地址

github