深度学习中常见的几个基础概念

　　1. Linear regression :

　 Linear regression 对监督学习问题来说, 是最简单的建模形式. 上图蓝色点表示 training data point, 红色的线表示用于拟合训练数据的线性函数. 线性函数的总的形式为:

　　在代码中表示这个模型, 可以将其定义为单列的向量 (a single column vector) :

　　# initialize variable / model parameters.

　　w = tf.Variable(tf.zeros([2, 1]), name = "weights")

　　b = tf.Variable(0., name = "bias")

　　def inference(X):

　　　　return tf.matmul(X, W) + b 　　

　　既然我们已经定义了如果计算 loss , 此处 loss 函数我们设置为 squared error.

　　　　　　　　$ loss = sum_{i} (y_i - y_{predicted_i})^2 $

　　我们统计 i, i 是每一个数据样本. 代码上表示为:

　　def loss (X, Y) :

　　　　Y_predicted = inference(X)

　　　　return tf.reduce_sum(tf.squared_difference(Y, Y_predicted))

　　def inputs():
　　　　weight_age = [[84, 46], [73, 20], [65, 52], [70, 30], [76, 57], [69, 25], [63, 28], [72, 36], [79
　　　　blood_fat_content = [354, 190, 405, 263, 451, 302, 288, 385, 402, 365, 209, 290, 346, 254, 395,
　　　　return tf.to_float(weight_age), tf.to_float(blood_fat_content)

　　我们利用 gradient descent 算法来优化模型的参数 :

　　def train(tota_loss) :

　　　　learning_rate = 0.000001

　　　　return tf.train.GradientDescentOptimizer (learning_rate).minimize(total_loss)

　　当你运行之后, 你会发现随着训练步骤的进行, 展示的 loss 会逐渐的降低.

　　def evaluate(sess, X, Y):

　　　　print sess.run(inference([[80., 25.]])) # ~ 303

　　　　print sess.run(inference([[65., 25.]])) # ~ 256

　　Logistic regression.

　　线性回归模型预测的是一个连续的数字 (continuous value) , 或者其他任何 real number. 我们接下来会提供一个可以回答 yes-or-no 问题的模型, 例如 : " Is this email spam ? "

　　有一个在机器学习领域被常用的一个模型, 称为: logistic function. 也被称为 sigmoid function, 形状像 S .

　　　　　　　　$ f(x) = 1/(1+e^{-x}) $

　　这里你看到了一个 logistic / sigmoid function 的图, 像 "S" 形状.

　　这个函数将 single input value 作为输入. 为了给这个函数输入多维, 或者我们训练数据集样本的特征 , 我们需要将他们组合为一个 value. 我们可以利用线性回归模型来做这个事情 .

　　# same params and variable initialization as log reg.

　　w = tf.Variable(tf.zeros([5, 1]), name = "weights")

　　b = tf.Variable(0., name = "bias")　

　　# former inference is now used for combing inputs.

　　def combine_inputs(X) :

　　　　return tf.matmul(X, W) + b

　　# new inferred value is the sigmoid applied to the former.

　　def inference(X) :

　　　　return tf.sigmoid (combine_inputs(X))　

　　这种问题交叉熵损失函数解决的比较好.

　　我们可以视觉上比较两个损失函数的表现, 根据预测的输出.

　　def loss (X, Y) :

　　　　return tf.reduce_mean (tf.sigmoid_cross_entropy_with_logits (combine_inputs(X), Y)

　　What "Cross-entropy" means :

　　加载数据 :

　　def read_csv (batch_size, file_name, record_defaults) :

　　　　filename_queue = tf.train.string_input_producer([os.path.dirname(__file__) + "/" + file_name])

　　　　reader = tf.TextLineReader (skip_header_lines = 1)

　　　　key, value = reader.read(filename_queue)

　　　　# decode_csv will convert a Tensor from type string (the text line) in

　　　　# a tuple of tensor columns with the specified defaults, which also sets the data type for each column .

　　　　decoded = tf.decode_csv(value, record_defaults = record_defaults)

　　　　# batch actually reads the file and loads "batch_size" rows in a single tensor

　　　　return tf.train.shuffle_batch(decoded, batch_size=batch_size, capacity = batch_size * 50, min_after_dequeue = batch_size)

　　def inputs ():

　　　　passenger_id, survived, pclass, name, sex, age, sibsp, parch, ticket, fare, cabin, embarked =

　　　　　　read_csv (100, "train.csv", [[0.0], [0.0]] ........)

　　　　# convert categorical data .

　　　　is_first_class = tf.to_float (tf.equal(pclass, [1]))

　　　　is_second_class = tf.to_float (tf.equal(pclass, [2]))

　　　　is_third_class = tf.to_float (tf.equal (pclass, [3]))

　　　　gender = tf.to_float (tf.equal (sex, ["female"]))

　　　　# Finally we pack all the features in a single matrix ;

　　　　# We then trainspose to have a matrix with one example per row and one feature per column.

　　　　features = tf.transpose (tf.pack([is_first_class, is_second_class, is_third_class, gender, age]))

　　　　survived = tf.reshape(survived, [100, 1])

　　　　return features, survived