听我说，Transformer它就是个支持向量机

Transformer 是一个支持向量机（SVM）一种新型理论在学界引发了人们的讨论。

上周末，一篇来自宾夕法尼亚大学、加州大学河滨分校的论文试图研究大模型基础 Transformer 结构的原理，其在注意力层的优化几何与将最优输入 token 与非最优 token 分开的硬边界 SVM 问题之间建立了形式等价。

在 hackernews 上作者表示，这种理论解决了 SVM 将每个输入序列中的「好」标记与「坏」token 分开的问题。该 SVM 作为一个性能优异的 token 选择器，与传统为输入分配 0-1 标签的 SVM 本质上不同。

这种理论也解释了注意力如何通过 softmax 引起稀疏性：落在 SVM 决策边界错误一侧的「坏」token 被 softmax 函数抑制，而「好」token 是那些最终具有非零 softmax 概率的 token。还值得一提的是，这个 SVM 源于 softmax 的指数性质。

论文上传到 arXiv 上面之后，人们纷纷发表意见，有人表示：AI 研究的方向真是螺旋上升，难道又要绕回去了？

现在，一篇名为《Transformers as Support Vector Machines》的新论文在自注意力的优化几何和 hard-margin SVM 问题之间建立了一种形式等价，使用 token 对的外积线性约束将最优输入 token 与非最优 token 分开。

这种形式等价建立在 Davoud Ataee Tarzanagh 等人的论文《Max-Margin Token Selection in Attention Mechanism》的基础上，它能够描述通过梯度下降进行优化的 1 层 transformer 的隐式偏差（implicit bias）：

总的来说，该研究的结果适用于一般数据集，可以扩展到交叉注意力层，并且研究结论的实际有效性已经通过彻底的数值实验得到了验证。该研究建立一种新的研究视角，将多层 transformer 看作分离和选择最佳 token 的 SVM 层次结构。

论文结构如下：第 2 章介绍了自注意力和优化的初步知识；第 3 章分析了自注意力的优化几何，表明注意力参数 RP 收敛到最大边际解；第 4 章和第 5 章分别介绍了全局和局部梯度下降分析，表明 key-query 变量 W 向 (Att-SVM) 的解决方案收敛；第 6 章提供了在非线性预测头和广义 SVM 等价性方面的结果；第 7 章将理论扩展到顺序预测和因果预测；第 8 章讨论了相关文献。最后，第 9 章进行总结，提出开放性问题和未来研究方向。

论文的主要内容如下：

注意力层的内隐偏差（第 2-3 章）

这是第一个正式区分 W 与（K，Q）参数化优化动态的结果，揭示了后者的低阶偏差。该研究的理论清楚地描述了所选 token 的最优性，并自然地扩展到了序列到序列或因果分类设置。

梯度下降的收敛（第 4-5 章）

通过适当的初始化和线性头 h (・)，组合 key-query 变量 W 的梯度下降（GD）迭代在方向上收敛到（Att-SVM）的局部最优解（第 5 节）。要实现局部最优，所选 token 必须比相邻 token 得分更高。

局部最优方向不一定是唯一的，可以根据问题的几何特征来确定 [TLZO23]。作为一项重要贡献，作者确定了保证向全局最优方向收敛的几何条件（第 4 章）。这些条件包括： 

• 最佳 token 在分数上有明显区别；
• 初始梯度方向与最佳 token 一致。

除此以外，论文还展示了过度参数化（即维度 d 较大，以及同等条件）通过确保（1）（Att-SVM）的可行性，以及（2）良性优化 landscape（即不存在静止点和虚假的局部最优方向）来催化全局收敛（见第 5.2 节）。

图 1 和图 2 对此进行了说明。

SVM 等价的通用性（第 6 章）

当使用线性 h (・) 进行优化时，注意力层会固有地偏向于从每个序列中选择一个 token（又称硬注意力）。这反映在了 (Att-SVM) 中，表现为输出 token 是输入 token 的凸组合。与此相反，作者表明非线性头必须由多个 token 组成，从而突出了它们在 transformer 动态过程中的重要性（第 6.1 节）。利用从理论中获得的洞察力，作者提出了一种更通用的 SVM 等价方法。

值得注意的是，他们证明了在理论未涵盖的普遍情况下（例如，h (・) 是一个 MLP），本文的方法能准确预测通过梯度下降训练的注意力的隐含偏差。具体来说，本文的通用公式将注意力权重解耦为两个部分：一个是由 SVM 控制的定向部分，它通过应用 0-1 掩码来选择标记；另一个是有限部分，它通过调整 softmax 概率来决定所选 token 的精确组成。

这些发现的一个重要特点是，它们适用于任意数据集（只要 SVM 可行），并且可以用数字验证。作者通过实验广泛验证了 transformer 的最大边际等价性和隐含偏差。作者认为，这些发现有助于理解作为分层最大边际 token 选择机制的 transformer，可为即将开展的有关其优化和泛化动态的研究奠定基础。

参考内容：

https://news.ycombinator.com/item?id=37367951

https://twitter.com/vboykis/status/1698055632543207862