研究意义
图像语义分割是计算机视觉中最重要的分支之一，被广泛应用于许多现实世界的场景中，如地理信息系统、自动驾驶、医学图像分析等。然而，传统的语义分割方法极大地依赖于像素级标注信息，且很难将以前的知识转移到未见过的类别上。与之相反的，人类可以通过将一个未见过的类别与他们以前掌握的概念联系起来，轻易地识别出一个从未见过的类别。
零样本分割任务旨在通过建立图像视觉空间和词向量空间的联系，使模型可以不依赖于任何标注数据即完成对未知不可见类别的分割。零样本问题不仅能够缓解标注数据缺失的问题，对于已训好模型的新类别扩展也有所助益，从而能够充分利用已学习的信息，避免模型重新训练带来的时间消耗和过往资源的浪费。
以往的零样本分割算法不能为不可见类别生成有意义的视觉表征，并且在分类器中难以平衡已知类和未知类的信息，从而面临难以学习未知类概念，未知类分割效果差的问题。
本文工作
为了解决上述问题，本文借鉴教育心理学领域的有意义学习的思想，提出了一种新的有意义学习零样本语义分割学习框架，该框架通过关联到已有的概念来学习新的信息，并最终将新的概念与已有的概念模式进行融合扩展，促进了全面的理解。
具体来说，本文提出了一个具有共轭概念相关性的生成器来引导对新概念的有意义学习，从而产生多样的、合理的视觉表示。共轭概念相关不仅仅建立了有价值的概念关联，同时也约束了不可见类视觉语义特征的生成。通过建立相关性，生成器能够为不可见类生成合理的视觉语义表示，从而为新概念的有意义学习提供合适的训练样本。此外，本文提出了一种快慢概念调制器来调节新概念的有意义学习和已有的概念模式应对新信息的调整，并将已有只针对可见类的概念模式逐步扩展到整个概念。通过快慢概念调制器，该模型可以在不干扰已有概念的前提下准确地获得新概念，实现了令人满意的分割性能。
本文的创新点如下：
(1) 提出了一种新的针对零样本分割任务的有意义学习框架，借鉴了教育心理学领域的思想，能够在没有视觉样本的条件下很好地学习新概念，并处理了新概念与已有概念之间的冲突，形成融合的概念模式。有意义学习框架自然地促进了知识的持续构建，从而具有实际应用价值，并取得了优秀的表现。
(2) 引入了一种具有共轭概念相关性的生成器，通过构造有重要价值的相关性从而生成真实合理的、多样的视觉特征，并触发了对不可见类概念的有意义学习。
(3) 设计了一种新的快慢概念调制器，在不损害可见类信息的情况下融合不可见类的概念，并逐渐形成一个全面的概念模式。
(4) 大量实验表明，所提出的有意义学习框架在Pascal-VOC、Pascal-Context和COCO-stuff数据集上优于最先进的方法。本文的模型与最先进的基线方法相比，在Pascal-VOC数据集中能够获得5%效果提升。
实验结果
本文在三个广泛使用的零样本分割基准上验证了所提方法的有效性，并从定量和定性两个角度对不同的方法进行了公平对比。
三个数据集基准的实验结果都表明，与现有的零样本学习方法相比，本文提出的有意义学习方法具有十分显著的优势。例如，在表1中，本文所提的方法在Pascal-VOC数据集的h-IoU 指标上取得了4%的提升。如图2所示，本文提出的有意义学习方法可以更好的完成对可见类和不可见类别的分割。
文章信息
Xianglong LIU, Shihao BAI, Shan AN, Shuo WANG, Wei LIU, Xiaowei ZHAO & Yuqing MA. A meaningful learning method for zero-shot semantic segmentation. Sci China Inf Sci, doi: 10.1007/s11432-022-3748-5
版权声明：本文内容转自互联网，本文观点仅代表作者本人。本站仅提供信息存储空间服务，所有权归原作者所有。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至1393616908@qq.com 举报，一经查实，本站将立刻删除。
