简单句生成高质量图像，LLM增强扩散模型｜ACM MM’23

新智元报道，中山大学HCP实验室林倞团队提出了一种参数高效的微调方法SUR-adapter，可增强text-to-image扩散模型的语义理解和推理能力。他们收集了一个包含5.7万个样本的数据集SURD，通过将叙述性提示的语义表示与复杂提示对齐，并应用知识蒸馏将大型语言模型（LLM）的知识迁移到SUR适配器，成功构建了高质量的文本语义表征，用于生成图像。实验证明该方法可以提高扩散模型对简洁叙述性提示的理解能力，同时不降低图像质量。该研究对于改进文本到图像生成模型具有重要意义。