Explainable ML

定义: 不仅可以(分类),还要输出分类的理由是什么(局部),以及某一个分类的判断标准(全局)

  1. 局部: silence map. 把{x1.....xn}中每一个像素加一个偏移量之后,得到的y偏移量与x偏移相除,类似于微分的结果,表示成一张图片。可以看到图片上对与判断结果来说重要的部分。
  2. 全局: 对某个分类,可以找出使它信心分数最高的x(要加一些regularization),可以画出机器“看到”的样子。

 

 

Local explainable

 

 

 

 求梯度的方法具有一定的局限性:

 

 

global explanation

 

 以上都是从人的想法的角度分析的

用GD找到使得yi最大的z,然后通过z得到x,那么我们就说x是机器觉得最像yi的东西

Generator 和Classifier都是事先训练好的(固定)

interpretable model 来模仿black box
分析这个interpretable model,假设这个interpretable model是一个linear model
因为他们的capacity不同,那么Linear model 不能mimic 这个black model 的全部

到底什么是nearby?
对于这条红线(nearby的限制很宽松),接下来还需要调节,直到你满意

 

下面以frog为例解释LIME的过程

 

 M 也是可以调节的

 以上都是用linear model mimic ,下面用decision tree mimic

 

原文地址:https://www.cnblogs.com/tingtin/p/12377441.html