光流（optical flow）和openCV中实现

光流的概念：

是Gibson在1950年首先提出来的。

它是空间运动物体在观察成像平面上的像素运动的瞬时速度。是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的相应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

一般而言。光流是因为场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。

当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像。这一系列连续变化的信息不断“流过”视网膜（即图像平面）。好像一种光的“流”，故称之为光流（optical flow）。光流表达了图像的变化，因为它包括了目标运动的信息。因此可被观察者用来确定目标的运动情况。

看以下的图。它展示了一个小球在5个连续的帧中的运动。箭头上的数字代表不同的帧。那个红色小球的运动构成了光流。

操作：

给你一个图上的一系列点，在另外一张图上找到与前面一些列点同样的点。

或者给你图I1上的点[u_x, u_y]^T。找到I2上的点[u_x + δ_x, u_y + δ_y]^T。最小化ε：

上面增加W_x表示一块区域，一般跟踪一个区域的点。

在图形学应用中。在多张图上跟踪点（特征）是一项主要的操作：在一张图上找到一个对象，观察对象怎样移动。

基于特征点的跟踪算法大致能够分为两个步骤：

1）探測当前帧的特征点；

2）通过当前帧和下一帧灰度比較，预计当前帧特征点在下一帧的位置；

3）过滤位置不变的特征点，余下的点就是目标了。

特征点能够是Harris角点，也能够是边缘点等等。

考虑一个像素在第一帧的光强度（这里添加了一个维度时间。前面的时候我们仅仅是处理图像。所以没有必要时间。如今须要添加这个维度）。它移动了的距离到一下帧。用了时间。

由于像素点是一样的。光强度也没有发生变化（事实上这个光强度没有改变是非常多光流算法的基本如果）。。所以我们能够说：

然后通过泰勒级数近似展开有：

所以：

上面的等式叫做光流等式，偏导数能够求出来。但是 u和v是未知的，所以无法解决上的等式。但是有非常多方法能够解决问题，当中一个叫做Lucas-Kanade方法。

Lucas-Kanade：

有这么一个假定，全部的相邻像素有相似的行动，Lucas-Kanade方法使用3*3的一块区域，它假定这9个点有同样的行动，所以如今的问题变为有9个等式，2个未知量，这个问题当然可以解决。一个好的解决方案是使用最小二乘法。

令n=9，于是便有了9个等式：

当中q1，q2，…，代表像素点，是偏导，上面的等式能够写成以下的形式：A v = b，当中：

然后，得到以下的：

终于算出来的两个未知数的解是：

上面的解决小而连贯的运动。想想刚刚我们的如果是9个像素点速度一致。由于现实中大而连贯的运动是普遍存在的，我们须要大的窗体来捕获运动。但是大窗体违背了运动连贯的如果。图像金字塔能够解决问题。（图像金字塔的内容以后本人掌握很多其它的再补充。如今不敢乱发表）。

OpenCV中的实现:

OpenCV提供了对上面介绍的方法的支持。函数名叫做：cv2.calcOpticalFlowPyrLK()，如今让我们在视频中跟踪一些点。

为了决定跟踪哪些点，使用cv2.goodFeaturesToTrack()。

我们得到第一帧。探測Shi-Tomasi角点，然后我们使用 Lucas-Kanade光流法来跟综这些点。

#include "opencv2/video/tracking.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
 
#include <iostream>
#include <ctype.h>
 
using namespace cv;
using namespace std;
 
static void help()
{
    // print a welcome message, and the OpenCV version
    cout << "
This is ademo of Lukas-Kanade optical flow lkdemo(),
"
        "Using OpenCVversion "<< CV_VERSION << endl;
    cout << "
It usescamera by default, but you can provide a path to video as an argument.
";
    cout << "
Hot keys:
"
        "	ESC - quitthe program
"
        "	r -auto-initialize tracking
"
        "	c - deleteall the points
"
        "	n - switch the"night" mode on/off
"
        "To add/removea feature point click it
" << endl;
}
 
Point2f point;
bool addRemovePt = false;
 
static void onMouse(int event, int x, int y, int /*flags*/, void* /*param*/)
{
    if (event == CV_EVENT_LBUTTONDOWN)
    {
        point = Point2f((float)x, (float)y);
        addRemovePt = true;
    }
}
 
int main(int argc, char** argv)
{
    help();
 
    VideoCapture cap;
    TermCriteria termcrit(CV_TERMCRIT_ITER | CV_TERMCRIT_EPS, 20, 0.03);
    Size subPixWinSize(10, 10), winSize(31, 31);
 
    const int MAX_COUNT = 500;
    bool needToInit = false;
    bool nightMode = false;
 
    /*if (argc == 1 || (argc == 2 && strlen(argv[1])== 1 && isdigit(argv[1][0])))
        cap.open(argc == 2 ? argv[1][0] - '0' :0);
    else if (argc == 2)
        cap.open(argv[1]);*/
 
    cap.open("G:\视频分析入门练习\视频分析入门练习 - 附件\sample.avi");
 
    if (!cap.isOpened())
    {
        cout << "Could notinitialize capturing...
";
        return 0;
    }
 
    namedWindow("LK", 1);
    setMouseCallback("LK", onMouse, 0);
 
    Mat gray, prevGray, image;
    vector<Point2f> points[2];
 
    for (;;)
    {
        Mat frame;
        cap >> frame;
        if (frame.empty())
            break;
 
        frame.copyTo(image);
        cvtColor(image, gray, COLOR_BGR2GRAY);
 
        if (nightMode)
            image = Scalar::all(0);
 
        if (needToInit)
        {
            // automaticinitialization
            goodFeaturesToTrack(gray, points[1],100, 0.01, 10, Mat(), 3, 0, 0.04);
            cornerSubPix(gray, points[1],subPixWinSize, Size(-1, -1), termcrit);
            addRemovePt = false;
        }
        else if(!points[0].empty())
        {
            vector<uchar> status;
            vector<float> err;
            if (prevGray.empty())
                gray.copyTo(prevGray);
            calcOpticalFlowPyrLK(prevGray, gray,points[0], points[1], status, err, winSize,
                3, termcrit, 0, 0.001);
            size_t i, k;
            for (i = k = 0; i <points[1].size(); i++)
            {
                if (addRemovePt)
                {
                    if (norm(point -points[1][i]) <= 5)
                    {
                        addRemovePt = false;
                        continue;
                    }
                }
 
                if (!status[i])
                    continue;
 
                points[1][k++] = points[1][i];
                circle(image, points[1][i], 3, Scalar(0, 255, 0), -1, 8);
            }
            points[1].resize(k);
        }
 
        if (addRemovePt&& points[1].size() < (size_t)MAX_COUNT)
        {
            vector<Point2f> tmp;
            tmp.push_back(point);
            cornerSubPix(gray, tmp, winSize,cvSize(-1, -1), termcrit);
            points[1].push_back(tmp[0]);
            addRemovePt = false;
        }
 
        needToInit = false;
        imshow("LK", image);
 
        char c = (char)waitKey(100);
        if (c == 27)
            break;
        switch (c)
        {
        case 'r':
            needToInit = true;
            break;
        case 'c':
            points[0].clear();
            points[1].clear();
            break;
        case 'n':
            nightMode = !nightMode;
            break;
        }
 
        std::swap(points[1], points[0]);
        cv::swap(prevGray, gray);
    }
 
    return 0;
}

结果：任意取得一些特征点。特征点会随着车的移动而移动