[AI]关于SkLearn 及其性能问题

Scikit-Learn 使用

Scikit-Learn (sklearn) 把很多学习模型抽象好 'NB', 'KNN', 'LR', 'RF', 'DT', 'SVM', 'GBDT'，可以通过统一接口返回model对象，然后对它进行fit,predict等操作。

Scikit-Learn Sample

训练学习：

# Multinomial Naive Bayes Classifier
def naive_bayes_classifier(train_x, train_y):
    from sklearn.naive_bayes import MultinomialNB
    model = MultinomialNB(alpha=0.01)
    model.fit(train_x, train_y)
    return model

# KNN Classifier
def knn_classifier(train_x, train_y):
    from sklearn.neighbors import KNeighborsClassifier
    model = KNeighborsClassifier()
    model.fit(train_x, train_y)
    return model

# Logistic Regression Classifier
def logistic_regression_classifier(train_x, train_y):
    from sklearn.linear_model import LogisticRegression
    model = LogisticRegression(penalty='l2')
    model.fit(train_x, train_y)
    return model

# 其他模型也是类似方式： 'NB', 'KNN', 'LR', 'RF', 'DT', 'SVM', 'GBDT'

预测：

predict = model.predict(test_x)
accuracy = metrics.accuracy_score(test_y, predict)

sklearn 性能问题

跟tensorflow,darknet等库不同，sklearn/numpy 缺省只使用CPU计算并且不支持并行。
自己写程序通过多线程支持并行计算，有以下两个优化：

GIL (Global Interpreter Lock 全局解释器锁)

虽然有两个死循环的线程，而且有两个物理 CPU 内核，但因为 GIL 的限制，两个线程只是做着分时切换，总的 CPU 占用率还略低于 50％。
虽然 CPython 的线程库封装了操作系统的原生线程，但却因为 GIL 的存在导致多线程不能利用多个 CPU 内核的计算能力。好在现在 Python 有了multiprocessing,C 语言扩展机制和 ctypes，足以应付多核时代的挑战。

GIL 与 Python 线程的纠葛

MKL（Intel® Math Kernel Library)

Numpy/Scipy可以使用MKL库提升计算性能
Numpy+MKL Performance

Numpy+MKL不能使用pip3直接安装，可以在下面的地址下载离线安装包。
Numpy+MKL安装地址

sklearn