快速可微分排序算法，速度快出一个数量级

yTorch、TensorFlow和JAX版本即将开源。

快速可微分排序算法

现代深度学习架构通常是通过组合参数化功能块来构建，并使用梯度反向传播进行端到端的训练。

这也就激发了像LeCun提出的可微分编程 (differentiable programming)的概念。

虽然在经验上取得了较大的成功，但是许多操作仍旧存在不可微分的问题，这就限制了可以计算梯度的体系结构集。

诸如此类的操作就包括排序 (sorting)和排名 (ranking)。

从函数角度来看都是分段线性函数，排序的问题在于，它的向量包含许多不可微分的“节点”，而排名的秩要比排序还要麻烦。

首先将排序和排名操作转换为在排列多面体(permutahedron


 

这一过程后，可以发现对于r(θ)，若是θ出现微小“扰动”，就会导致线性程序跳转到另外一个排序，使得r(θ)不连续。

也就意味着导数要么为null，要么就是“未定义”，这就阻碍了梯度反向传播。

为了解决上述的问题，就需要对排序和排名运算符，进行有效可计算的近似设计。

谷歌大脑团队提出的方法，就是通过在线性规划公式中引入强凸正则化来实现这一目标。

这就让它们转换成高效可计算的投影算子(projection operator)，可微分，且服从于形式分析(formal analysis)。

在投影到排列多面体之后，可以根据这些投影

（编辑：盐城站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!