InstructPix2Pix: 根据指令进行图像编辑

本文提出了一种根据人类指令编辑图像的方法：给定一个输入图像和一个告诉模型该做什么的语言指令，使模型按照这些指令来编辑图像。为了获得训练数据，本文结合了两个大型预训练模型的知识–语言模型（GPT-3）和扩散模型（Stable Diffusion）–来生成一个大型的图像编辑实例数据集。本文的条件扩散模型InstructPix2Pix在这些生成的数据上训练，并在推理时对真实图像和用户写的指令进行归纳。由于它不需要对每个样例进行微调或反演，因此模型可以在几秒钟内快速编辑图像。

来源：arxiv
论文题目：InstructPix2Pix: Learning to Follow Image Editing Instructions
作者：Tim Brooks, Aleksander Holynski, Alexei A. Efros
论文链接：https://arxiv.org/abs/2212.https://arxiv.org/abs/2211.09800
内容整理：王怡闻

引言

目前的条件扩散模型大多以一个文本prompt作为条件指导模型生成。这份论文与其他基于文本指导的图像编辑工作最大的不同在于，它可以直接以符合人类语言规律的文本形式指导模型要执行什么操作，而不是通过增减文本标签等方式。指令形式的一个好处在于，用户可以用自然的书面文本准确地告诉模型该做什么，指令精确和直观，允许用户轻松地对某些属性进行更改。下面举一个例子：本文提出的模型能够实现直观的图像编辑，可以遵循人类指令执行多种编辑，包括替换对象，改变图像的风格，改变环境，艺术媒介等。

方法

生成图像编辑数据集

为了获取训练数据，本文结合了两个大型的预训练模型：GPT-3和Stable Diffusion，以生成一个用于图像编辑任务的大型生成训练数据集。这两个大模型可以分别捕获关于语言和图像的知识，为跨模态的任务创建一些文本-图像成对的训练数据。本文生成数据集的步骤如下：

Step 1. 使用一个微调过的 GPT-3 来生成指令文本 Instruction 和按照指令编辑图像后的描述性文本 Edited Caption

本文使用了微调过后的GPT-3，微调数据使用Human-written的700个数据：在LAION-Aesthetics V2 6.5+数据集上采样700个input captions，然后人工写出每条caption对应的instruction和edited caption。得益于GPT-3强大的语言生成能力，微调过后的模型可以生成明确且泛化性强的Instruction。下表展示了人工数据和GPT-3的生成数据：

Step 2. 以Input Caption和Edited Caption作为输入，由Stable Diffusion和Prompt-to-Prompt一起生成图像对

Prompt2Prompt的方法可以参考这篇论文：Prompt-to-Prompt Image Editing with Cross-Attention Control。此处使用Prompt2Prompt的原因在于：其他文本转图像的方法无法保证图像的一致性，在文本输入中即便是非常微小的差别都可能导致生成图像产生很大的不同，这不利于数据集的稳定性。而Prompt-to-Prompt方法强调了修改前后图片的一致性，即尽可能保证未被修改的属性前后保持相同，因而非常适合当前任务。对比如下图，输入文本为：“photograph of a girl riding a horse” 和 “photograph of a girl riding a dragon”：