视觉作为人类感知体验的核心部分，已被证明在建立语言模型和提高各种NLP任务的性能方面是有效的。作者认为视觉作为辅助语义信息可以进一步促进句子表征学习。
2022-09-21 10:06
基于MoCo[3]的框架，该文提出了用于文本识别的关系对比学习框架(RCLSTR)。如下图所示：1、在Online分支(上半部分)中引入了一个新的重排阶段，从原始分支中产生水平重排的图像，称为关系正则化模块（Relational Regularization）。
2023-09-14 17:21
首先，是否存在良好且广泛适用的表征呢？在计算机视觉等领域，答案是肯定的，因为深度卷积神经网络 (CNN) 在大型含多类别标签数据集 (如 ImageNet) 上以高精度训练时，最终会学习得到非常强大而简洁的表征信息。
2019-04-04 17:41
一、本文贡献 1.网络通过提取显著性区域并融合这些区域特征，以同时学习局部和全局的特征2.通过混杂来自负例的注意力特征来增强网络对于每个注意力区域的学习3.网络得到了 SOTA 的结果 二、动机
2022-05-13 16:54
我们发现prompt，再给定不同的template时可以生成不同方面的positive pair，且避免embedding bias。
2022-10-25 09:37
在本文中，我们研究了图像描述（Image Captioning）领域一个新兴的问题——图像风格化描述（Stylized Image Captioning）。
2022-11-03 14:30
我们可能从一个bias的sample set开始训练，由于不知道相应的标注，传统用来处理不平衡数据集的方法，如伪标签、重采样或重加权不适用。
2022-12-02 09:46
其中最后一个表示监督信号是从图像本身中挖掘出来的，流行的方法包括对比学习、非对比学习和masked image建模。在这些方法之外，文章也进一步讨论了多模态融合、区域级
2023-09-26 16:42
在人工智能的浪潮中，机器学习和深度学习无疑是两大核心驱动力。它们各自以其独特的方式推动着技术的进步，为众多领域带来了革命性的变化。然而，尽管它们都属于机器学习的范畴，但深度学习
2024-07-01 11:40
文中将一些经典的多模态对比学习模型中两个模态的embedding，通过降维等方法映射到二维坐标系中。
2022-12-05 14:06
