demo1

写了个demo，只有两个文件。 

定义了一个叫 Square 的类，相当于pytorch中的 Function，包含了forward和backward方法。实现 y = a*x^2。

Square.m

classdef Square < handle
    properties
        input;
        a;
        
        grad_input;
        d_a;
    end
    
    methods
        function self = Square(a)
            self.a = a;
            self.grad_input = 0;
            self.d_a = 0;
        end
        
        function out = forward(self, input)
            out = self.a*input.^2; % y = a*x^2  这个相当于model
            self.input = input;
        end
        
        function grad_input = backward(self, grad_output)
            % dy = 2*a*dx 以x为变量，根据dy 求 dx   
            % dy = 2*x*da 以待训练权重a为变量，根据dy 求 d_a，不求出d_a来，
            % a_iter是没法更新的。
            % 
            % 之前没有自己实现前后向的计算，真的没意识到要求两次微分。
            grad_input = grad_output/(2*self.a);
            self.d_a = grad_output/(2*self.input);
        end
    
    end
end

然后是main.m

clear all;clc;
% y = a*x^2 只有一个待求参数a，所以只需要一个样本点(x, label)就可以求出a

x = 3;
a = 4;
label = a*x^2;

a_iter = rand();     % 随机初始化需要训练的参数 a
sq = Square(a_iter); % new 一个 model 出来

loss_tb = zeros(1, 100000);  % loss table 用来记录误差

lr = 0.0001; % learning rate

for i = 1:100000          % epoch = 100000
    out = sq.forward(x);  % 前向计算
    loss = (label-out)^2; % criterion, 简单的用差的平方做loss
%     loss = (label-out);
    loss_tb(i) = loss;
    
    dx1 = sq.backward(loss);  
    % 反向计算，因为只有一个环节，所以这里dx1后面不再需要用到。
    % 只是为了跑一下backward方法，计算下sq.d_a
    
    a_iter = a_iter + lr*sq.d_a;  % 相当于 optimizer
    sq.a = a_iter;                % 更新模型参数
end

a_iter  
% 总是等于3.9926，与4有点差距，可能是数值计算方面的原因。
% 上面如果 loss = label - out，反而能精确的等于4，但是误差下降的更慢

plot(log(1+loss_tb))

这个demo基本上体现了pytorch的设计思路。

写完这个demo自然而然就想到了batchSize的问题，意识到了为什么pytorch要在model里面

搞出一个Parameter类出来。

=========2018年1月29日17:23:34=========

这两天一直在想怎么实现DAG，试了下，还是比较麻烦的。

matconvnet本身用的结构体，pytorch在ATen里用了三个list，darknet用的双向链表。

索性不实现DAG了，手动把模块装起来搞前后向。

自己不会cuda编程，奔着GPU coder以及内置的一些这两年的神经网络模型，

装了个matlab R2017b。看看能不能通过学习一些基本的cuda编程知识，自己实现个gpu上的

卷积运算。

=========2018年2月1日23:26:21=========

matconvnet的 DAGNN里头什么都有，已经有模块化的forward，backward了。

simplenn可读性太差。

=========2018年2月4日00:01:47=========

决定花点时间研究下matconvnet了，因为仔细一看发现了这个：

https://github.com/vlfeat/matconvnet-contrib

=========2018年2月4日00:47:35=========

ceres solver中有个求自动微分的功能：

https://github.com/ceres-solver/ceres-solver/blob/c2da96082b7ea4d6cdcb1ca83a3e84264156ea48/include/ceres/jet.h

=========2018年2月4日14:46:52=========

https://github.com/necroen/toy_lenet

=========2018年2月10日13:27:37=========