1.引言 最近在做多模态融合的图像问题，其中最需要解决的就是不同模态的图像用什么方法进行融合，最简单也最直观的方法就是采用合并数组的方法，将不同模态的图像合并为多通道进行处理。在一些论文中，比如《D ...

该笔记基于：Multimodal Machine Learning:A Survey and Taxonomy 该论文是一篇对多模态机器学习领域的总结和分类，且发表于2017年，算是相当新的综 ...

摘要：在文档图像中提取关键信息在自动化办公应用中至关重要。传统基于模板匹配或者规则的方法，在通用性方面、未见过版式模板数据方面，效果都不好；为此，本文提出了一种端到端的空间多模态图推理模型（SDM ...

标题：基于知识的视觉问答的多模态知识提取与积累 来源：CVPR 2022https://arxiv.org/abs/2203.09138 代码：https://github.com/Ander ...

摘要：多模态机器学习旨在从多种模态建立一种模型，能够处理和关联多种模态的信息。考虑到数据的异构性，MMML（Multimodal Machine Learning）领域带来了许多独特的挑战，总体而 ...