CLIP ~ 众里寻她千百度
如果让你把左侧三张图和右侧三句话配对,你可以轻松完成这个连线。但对 AI 来说,图片就是一系列像素点,文本就是一串字符,要完成这个工作可不简单。
这需要 AI 在海量「文本-图片」数据上学习图片和文本的匹配。图中绿色方块是「图片潜在空间」的 N 张图片,紫色方块是「文本潜在空间」的 N 句描述语。AI 会努力将对应的 I1 与 T1 (蓝色方块)匹配,而不是 I2 与 T3 (灰色方块)匹配。这个 AI 就是广泛被用在 AI 作画中的 CLIP(Contrastive Language-Image Pre-Training / 对比式语言-文字预训练)。
当 AI 能成功完成这个连线,也就意味着 AI 建立了「文字潜在空间」到「图片潜在空间」的对应关系。这就是上一回中之所以 AI 能根据提示语 “一只骑摩托车的大熊猫” 找到「图片潜在空间」中对应(图片)点的原因。
图片:“我散开了” ~ Diffusion 的自白
对 AI 来说,过去大家熟知一些 AI 图像生成的项目主要使用了 GAN 技术(Generative Adversarial Network 生成对抗网络),在 ai绘画是什么意思?什么是ai绘画? 中两个例子都是通过 GAN 生成的。但 GAN 的一大缺陷是不好加条件,比如 AI 只知道要生成人脸,但没法儿指定让 AI 生成黑长直美女头像。
为了让 AI 听懂人话,Diffusion (扩散)技术逐渐成为 AI 生成图像领域的新宠。如何理解 Diffusion 技术?Diffusion 来自一个物理现象:当我们把墨汁滴入水中,墨汁会均匀散开;这个过程一般不能逆转,那 AI 可以做到么?(AI:我太难了)
当墨汁刚滴入水中时,我们能区分哪里是墨哪里是水,信息是非常集中的;当墨汁扩散开来,墨和水就难分彼此了,信息是分散的。类比于图片,这个墨汁扩散的过程就是图片逐渐变成噪点的过程:从信息集中的图片变成信息分散、没有信息的噪点图很简单,逆转这个过程就需要 AI 的加持了。
研究人员对图片加噪点,让图片逐渐变成纯噪点图;再让 AI 学习这个过程的逆过程,也就是如何从一张噪点图得到一张有信息的高清图。
跟 GAN 相比,Diffusion 是可以加条件的,也就是我们指定 AI 生成图片时描述的那句话。依靠这样的学习,AI 就实现了我们看到的一句话生成图片的惊艳效果。
图片引用:
- CLIP ~ 众里寻她千百度
- 画宇宙 - 人工智能 AI 作画网站
- https://openai.com/blog/clip/
- https://unsplash.com/
- 图片:“我散开了” ~ Diffusion 的自白
- https://www.youtube.com/watch?v=yTAMrHVG1ew
- https://www.assemblyai.com/blog/diffusion-models-for-machine-learning-introduction/
- https://arxiv.org/pdf/2006.11239.pdf
【原创】
作者:倒立的BOB
扫码关注
QQ联系
微信好友
关注微博