论文链接：https://arxiv.org/abs/2308.14029
开源代码：https://github.com/OpenMatch/TASTE
一、研究背景
序列化推荐系统旨在根据用户的浏览历史动态地为用户推荐下一个商品，这在Yelp、TikTok、Amazon等众多Web应用程序中发挥着至关重要的作用。这些推荐系统通过使用不同的神经网络架构来学习用户-商品交互中商品之间的依赖关系，从而对用户行为进行建模。这些模型通常使用商品ID来表示商品，通过随机初始化向量来表示不同的商品，并使用来自用户-商品交互的信号来优化这些商品的向量化表示。
然而，现有的基于商品ID向量表示的推荐系统通常面临流行偏差问题。
如图1（a）所示，推荐数据集中的商品与用户交互频率服从长尾分布，即仅有少部分商品与用户频繁交互，这使得基于商品ID的推荐模型通常面临冷启动问题，很多商品的向量表示训练不够充分。
此外如图1（b）所示，数据集中用户真实需要的商品中约74%与用户交互的次数低于20次，但基于商品ID的模型（T5-ID）在推荐结果中选择了返回给用户更加流行的商品。这导致了推荐系统存在典型的流行偏差问题即偏好于返回热门的商品作为推荐结果。
此外，如图2（a） 所示， 基于商品ID的推荐系统（T5-ID）学习到的商品向量表示空间展现了明显的各向异性，这使得流行商品与其他商品被划分到不同的区域。
相反，如图2（b） 所示，基于文本匹配的商品推荐模型TASTE在空间中将流行商品和其他商品的向量混合，从而能够通过匹配用户和商品的文本表示来为推荐系统返回更多文本相关但长尾的商品，最终缓解序列化推荐模型中的流行偏差问题。
在本文中，我们提出了基于文本匹配的序列化推荐方法（TASTE），它用文本表示商品和用户，通过匹配文本向量表征来建立它们之间的相关性，并缓解了基于商品ID的推荐模型的流行偏差问题。TASTE通过设计一些提示模板来表示商品，并用商品ID和商品属性填充模板来描述用户和商品。商品信息提供文本匹配线索，以对用户和商品之间的依赖性和相关性进行建模。TASTE还提出了一种注意力稀疏化编码方法，以打破语言模型的最大长度边界限制，实现对用户-商品交互的长文本表示进行编码。它将用户-商品交互历史划分为不同的子序列，独立地对每个子序列的文本表示进行编码，并减少了注意力计算开销。
二、基于文本匹配的序列化推荐模型（TASTE）
我们提出了基于文本匹配的序列化推荐（TASTE）模型。如图3所示，我们首先描述了如何用文本表示用户交互历史和商品，然后使用文本匹配对序列化推荐进行建模。最后，TASTE提出了一种注意力稀疏化方法来解锁模型编码用户-商品交互长文本序列的能力。
2.1 基于文本匹配的序列化推荐模型
公式1：商品文本化表示
公式2：用户交互历史文本化表示
公式3：通过T5编码得到用户交互历史和商品的向量表征
公式4：排序概率计算公式。
公式5：采用对比学习方法训练模型
2.2 基于注意力稀疏化的用户-商品交互历史长文本编码
公式6：独立地对用户交互历史子序列进行编码
最后，我们可以通过将稀疏编码得到的用户商品交互序列表征馈送到解码器模块来获得用户商品交互历史的最终向量表示。
公式7：解码器中进行融合获得最终向量表示
解码器使用交叉注意力机制重新为不同的用户-商品交互子序列赋予权重，并通过从文本化的用户-商品交互历史中的所有商品的文本化描述中捕获文本匹配信号来对用户行为进行建模。
三、实验结果
TASTE的推荐性能如表1所示。总体而言，TASTE在所有数据集上都显著优于基线模型，实现了18%的性能提升。与基于商品ID向量建模的推荐模型（如Bert4Rec）相比，TASTE得益于使用文本匹配信号对用户和商品之间的相关性进行建模，推荐性能获得了显著提升。TASTE还优于最先进的推荐模型DIF-SR。后者利用商品属性作为辅助信息以帮助模型更好地从用户-商品交互历史中学习用户行为，它将商品属性表示为向量，并更侧重于解耦和融合商品中的辅助信息。相比较于DIF-SR，TASTE没有设计复杂的架构来融合辅助信息，而是使用一个通用的提示学习模板来表示商品和用户交互行为，利用T5语言模型中经过文本预训练的注意力头来捕捉用户交互历史和商品的文本的语义信息。TASTE展示了将预训练语言模型直接应用于推荐系统的优势。
如表2所示，我们进一步探索了提示学习建模、不同的负采样策略和我们的长用户商品交互建模方法的有效性。我们在基于批内负样本采样的对比学习训练的模型TASTE（Inbatch）的基础上探究了流行采样，随机采样和难负例采样（ANCE）的实验结果。使用从流行商品中采样的额外负样本TASTE（Popular Negs）会略微降低TASTE（Inbatch）的推荐性能，原因可能在于高频率交互的商品通常表达了用户的通用兴趣，并且很容易与不同的用户交互。TASTE（ANCE）的性能优于TASTE（Inbatch），但低于TASTE（Rand Negs）。这一现象表明，模型选择的难负例商品被用户交互的潜力也很高，这些也不是真正的负样本。此外，得益于我们的注意力稀疏化方法，TASTE性能实现了进一步的提升，证明了它通过建模更长期的用户-商品交互历史来学习用户偏好会更加精准。
如表3所示，比较了T5-ID、TASTE w/o ID和TASTE三种采用不同商品建模方法的模型的推荐行为。T5-ID随机初始化商品ID向量表征并直接预测商品ID。TASTE w/o ID和TASTE均采用双塔架构，前者只使用商品属性，后者使用商品标识符和属性对商品进行编码。
如我们的评估结果所示，T5-ID在所有数据集的推荐结果中平均返回49.5%的流行商品，表明它在推荐商品时面临着流行偏差问题。TASTE在其推荐结果中减少了平均18.75%的流行商品。它使用文本表示商品，并利用文本匹配来校准T5-ID的面向流行商品的推荐行为。TASTE获得了更高的Bleu和Recall分数，证明了它在推荐更合适且文本相关的商品方面的有效性。此外，与TASTE w/o ID相比，TASTE在商品ID的帮助下获得了更高的Bleu和Dist分数。这表明商品ID可以作为一种提示，在商品属性之外提供额外的匹配信号，以更好地建模用户和商品之间的相关性。
如图4所示，实验比较了不同用户交互频率下的商品推荐效果。我们根据用户交互频率将商品分为两组，包括长尾商品和其他商品（比例为2:8）。TASTE在这些长尾商品上显示出比T5-ID更显著的推荐准确性，这说明了它在使用商品的标识符和属性学习商品向量表示商品可以有效地缓解推荐系统中的“冷启动”问题。同时表明，TASTE可以将预训练语言模型学习到的语言知识扩展到这些长尾商品的表示上，并通过文本匹配直接建模用户商品相关性。
四、总结
我们提出了一种基于文本匹配的序列化推荐（TASTE）模型，该模型用文本表示用户交互历史和商品，捕获文本匹配信号以对它们之间的相关性进行建模。
TASTE在广泛使用的序列化推荐数据集上达到了最先进的水平。它的性能优于以前的基于商品ID的方法，缓解了流行偏差问题并使用商品ID和属性更好地表示长尾商品。
值得注意的是，TASTE能够根据长期的用户-商品交互历史更好地建模用户行为，并返回更多与文本相关且多样化的商品来满足用户需求。
作者：刘正皓
来源：公众号：【AI科技评论】
快抢沙发！
