GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型

2023-05-17 15:59:03 来源：程序员客栈

(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

自从 DALL·E 2 之后，在图像生成方面扩散模型替代GAN成了主流方向，比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日， Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿（1B）的GAN模型：GigaGAN，其在文生图效果上接近扩散模型效果，而且推理速度更快，生成512x512大小图像只需要0.13s，生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能，比如latent插值，风格混合，以及向量运算等。

GigaGAN

改进了StyleGAN架构，采用两阶段训练策略：一个是64x64的图像生成器和一个512x512的图像超分2器，其图像生成器架构如下所示（这里也是采用CLIP text encoder来引入text condition）：

GigaGAN

在 LAION2B-en和 COYO-700M数据集上训练，其在COCO数据集上的FID达到9.09，超过stable diffusion 1.5，推理速度比stable diffusion快20倍多（2.9s vs 0.13s）：

GigaGAN

除了文生图能力，还可以实现可控的合成，比如风格混合，如下图所示：

更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

关键词：

为您推荐

GAN卷土重来：10亿参数的GigaGAN效果堪比扩散模型

点蓝色字关注“机器学习算法工程师”设为星标，干货直达！自从DALL·E2之后，在图像生成方面扩散模型替代GA

来源：程序员客栈2023-05-17

上旬中旬下旬分别是什么时候_上旬

1、这种说法也用于公历。每个月的1号到10号叫上旬，11号到20号叫期中，剩下的叫下旬。2、在公历中，上旬和

来源：互联网2023-05-17

消费者市场细分的基础有消费者市场细分的基础

今天来聊聊关于消费者市场细分的基础有，消费者市场细分的基础的文章，现在就为大家来简单介绍下消费者市场

来源：城市网2023-05-17

市、区人大代表进站开展接待选民活动

为进一步深化人大代表工作，发挥人大密切联系群众的作用，5月15日，市人大代表张建武，区人大代表宋建利、

来源：大河报网2023-05-17

世界热点评！魏膺_关于魏膺简述

小伙伴们，你们好，今天小夏来聊聊一篇关于魏膺，关于魏膺简述的文章,网友们对这件事情都比较关注，那么现

来源：元宇宙网2023-05-17

《唐人街风云》亮相戛纳再现海外华人传奇故事

日前，由王晶、关智耀联手执导的全新电影《唐人街风云》在第76届戛纳电影节惊艳亮相，首款概念海报也于法国

来源：中华网娱乐2023-05-17

天天观速讯丨2023北京海淀区羊坊店学区幼升小入学审核时间+材料+要求

羊坊店学区小学入学审核工作正式启动!羊坊店学区的家长朋友们，2023年小学入学审核工作正式启动!适龄儿童为

来源：本地宝2023-05-17

世界快资讯：保温杯哪个牌子质量好又实惠_保温杯哪个牌子质量好

1、大牌爆款~高颜值奶茶杯！开启垃圾分类“优雅节能”模式无需垃圾分类大牌爆款奶茶杯日本生活品牌有越来越

来源：互联网2023-05-17

关注