论文笔记(3)—"Federated Composite Optimization"

这篇讲的是如果FL的model需要一些regularity,例如sparsity等性质,如何去优化这样一个model。

再FL的local和server update上引入了两个方法,一个是Mirror Descent,另一个是Dual Averaging。

他们的实验优化的都是一些convex的函数,跟之前写的multi-task FL一样,可能在在neural network上Dual Avergaing比较难以实施。

对于Mirror Descent的方法,这种proximal想法在Federated Optimization in Heterogeneous Networks也出现过,不过之前的那篇在解决一个Heterogeneity的问题,而这个proximal是model本身的需要。

至于具体证明,等2月份有空的时候会统一整理一遍。

具体证明看不懂,等有时间看完dual averaging之后再看吧

原文地址:https://www.cnblogs.com/DemonHunter/p/14336755.html