Spark MLib 数据类型

1. MLlib

Apache Spark's scalable machine learning library, with APIs in Java, Scala and Python.

2. 数据类型

本地向量，标注点，本地矩阵，分布式矩阵

3. 本地向量 Local Vector

稠密向量 dense 一个double数组，例如 (1.0, 0.0, 0.0, 0.0, 3.0)
稀疏向量 sparse 两个并行的数组(indices和values)，例如 (5, [0, 4], [1.0, 3.0])，其中5表示向量元素的个数，[0，4] 是indices，[1.0,3.0]是values

基类是Vector, org.apache.spark.mllib.linalg.vector引入

import org.apache.spark.mllib.linalg.{Vector, Vectors}  
val dv: Vector = Vectors.dense(1.0, 0.0, 3.0)                        // 创建一个dense vector (1.0, 0.0, 3.0).
val sv1: Vector = Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0))   // 创建一个sparse vector (1.0, 0.0, 3.0).
val sv2: Vector = Vectors.sparse(3, Seq((0, 1.0), (2, 3.0)))        // 等同于sv2

4. 标注点（Labeled Point）

用于有监督学习的训练样本称为标注点。

一个标注点就是一个本地向量（或稠密或稀疏），这个向量和一个标签或者响应相关联。
我们用一个double存储标签，这样我们就可以在回归和分类中使用标注点。
对于二分类，一个标签可能是0或者是1；对于多分类，一个标签可能代表从0开始的类别索引。

样本类是LabeledPoint, org.apache.spark.mllib.regression.LabeledPoint 引入。

import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.LabeledPoint

val pos = LabeledPoint(1.0, Vectors.dense(1.0, 0.0, 3.0))  // a positive label and a dense feature vector.
val neg = LabeledPoint(0.0, Vectors.sparse(3, Array(0, 2), Array(1.0, 3.0)))  // a negative label and a sparse feature vector.

5. 本地矩阵（Local Matrix）

稠密矩阵按列顺序存储，用一个数组，加上(列，行) 表示数组大小。
稀疏矩阵非零条目值保存为压缩稀疏列 CSC（Compressed Sparse Column）格式，这种格式也是以列顺序存储

例： 9.0 0.0

（ 0.0 8.0）

0.0 6.0

稠密矩阵可以表示为，[3, 2, (9.0 , 0.0, 0.0, 0.0, 8.0, 6.0) ] 其中3为

稀疏矩阵？？不懂

基类是Matrix, 可以导入 org.apache.spark.mllib.linalg.Matrices

import org.apache.spark.mllib.linalg.{Matrix,Matrices}

val dm: Matrix=Matrices.dense(3,2,Array(9.0,0.0,0.0,0.0,8.0,6.0)              // dense Matrix
val sm: Matrix=Matrices.sparse(3,2,Array(0,1,3),Array(0,2,1),Array(9,8,6)) //sparse Matrix

6. 分布式矩阵 Distributed Matrix

一个分布式矩阵拥有long类型的行和列索引，以及double类型的值，分布式的存储在一个或多个RDD中。

已经实现了3种分布式矩阵：

1) RowMatrix

是一个面向行的分布式矩阵，它没有有意义的行索引。行保存为一个RDD,每一行都是一个本地向量。
可以通过 org.apache.spark.mllib.linalg.distributed.RowMatrix 引入。
通过RDD[Vector]实例创建

2) IndexedRowMatrix

和RowMatrix类似，它拥有行索引，行索引可以用于识别行和进行join操作
org.apache.spark.mllib.linalg.distributed.{IndexedRow, IndexedRowMatrix, RowMatrix}
可以通过RDD[IndexedRow]实例创建
IndexedRowMatrix可以通过去掉它的行索引，转换成RowMatrix

3) CoordinateMatrix

一个分布式矩阵，它使用COO格式存储（COO是啥）
条目保存为一个RDD。每一个条目是一个(i: Long, j: Long, value: Double)格式的元组，i 行索引，j 列索引，value 条目值。
应该仅仅在矩阵维度很大并且矩阵非常稀疏的情况下使用
org.apache.spark.mllib.linalg.distributed.{CoordinateMatrix, MatrixEntry}
通过RDD[MatrixEntry]实例创建

4) BlockMatrix

每个块保存为一个RDD
与CoordinateMatrix类似，是一个((Int, Int), Matrix)类型的元组，其中(Int, Int)代表块的索引，Matrix代表子矩阵。
BlockMatrix支持诸如add和multiply等方法。BlockMatrix还有一个帮助方法validate，用来判断一个BlockMatrix是否正确的创建。
调用toBlockMatrix从一个IndexedRowMatrix或者CoordinateMatrix创建一个BlockMatrix。默认大小为 1024 * 1024
org.apache.spark.mllib.linalg.distributed.BlockMatrix