opencv-086-视频分析(稠密光流分析)

发表于 | 分类于

知识点

光流跟踪方法分为稠密光流跟踪与稀疏光流跟踪算法，KLT是稀疏光流跟踪算法，前面我们已经介绍过了，OpenCV还支持稠密光流的移动对象跟踪方法，OpenCV中支持的稠密光流算法是由Gunner Farneback在2003年提出来的，它是基于前后两帧所有像素点的移动估算算法，其效果要比稀疏光流算法更好。

API

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
void cv::calcOpticalFlowFarneback(
	InputArray 	prev,
	InputArray 	next,
	InputOutputArray 	flow,
	double 	pyr_scale,
	int 	levels,
	int 	winsize,
	int 	iterations,
	int 	poly_n,
	double 	poly_sigma,
	int 	flags 
)
prev 前一帧
next 后一帧
flow 光流，计算得到的移动能量场
pyr_scale 金字塔放缩比率
levels 金字塔层级数目
winsize 表示窗口大小
iterations 表示迭代次数
poly_n 表示光流生成时候，对邻域像素的多项式展开，n越大越模糊越稳定
poly_sigma 表示光流多项式展开时候用的高斯系数，n越大，sigma应该适当增加
flags有两个OPTFLOW_USE_INITIAL_FLOW表示使用盒子模糊进行初始化光流
OPTFLOW_FARNEBACK_GAUSSIAN表示使用高斯窗口

代码（c++,python）

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
void cv::calcOpticalFlowFarneback(
	InputArray 	prev,
	InputArray 	next,
	InputOutputArray 	flow,
	double 	pyr_scale,
	int 	levels,
	int 	winsize,
	int 	iterations,
	int 	poly_n,
	double 	poly_sigma,
	int 	flags 
)
prev 前一帧
next 后一帧
flow 光流，计算得到的移动能量场
pyr_scale 金字塔放缩比率
levels 金字塔层级数目
winsize 表示窗口大小
iterations 表示迭代次数
poly_n 表示光流生成时候，对邻域像素的多项式展开，n越大越模糊越稳定
poly_sigma 表示光流多项式展开时候用的高斯系数，n越大，sigma应该适当增加
flags有两个OPTFLOW_USE_INITIAL_FLOW表示使用盒子模糊进行初始化光流
OPTFLOW_FARNEBACK_GAUSSIAN表示使用高斯窗口
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
import cv2 as cv
import numpy as np
cap = cv.VideoCapture("D:/images/video/vtest.avi")
ret, frame1 = cap.read()
prvs = cv.cvtColor(frame1,cv.COLOR_BGR2GRAY)
hsv = np.zeros_like(frame1)
hsv[...,1] = 255
while(1):
    ret, frame2 = cap.read()
    next = cv.cvtColor(frame2,cv.COLOR_BGR2GRAY)
    flow = cv.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
    mag, ang = cv.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,2] = cv.normalize(mag,None,0,255,cv.NORM_MINMAX)
    bgr = cv.cvtColor(hsv,cv.COLOR_HSV2BGR)
    cv.imshow('frame2',bgr)
    k = cv.waitKey(30) & 0xff
    if k == 27:
        break
    elif k == ord('s'):
        cv.imwrite('opticalfb.png',frame2)
        cv.imwrite('opticalhsv.png',bgr)
    prvs = next
cap.release()
cv.destroyAllWindows()

结果

代码地址

github