绘画小白们,还在为自己的「手残」而苦恼吗?是否常常在想,何时才能把那粗糙线条变得灵动逼真?
除了日复一日的练习,或许你还可以借助下面这款工具:
如你所见,它能够化腐朽为神奇,化潦草线稿为精品。
这就是今天要为大家介绍的 Stable Doodle。
这名字,这熟悉的感觉,别怀疑,这款工具就是 Stability AI 即将推出的将草图转化为图像的新服务。
先来看看,这个工具要怎么使用吧。
Stable Doodle 使用流程
首先,你需要利用鼠标,在空白画布上画出你想要图像的大致线条。画不好?不用担心。
机器之心谨代表「手残」中的「战斗机」帮大家试试水。经过用时 3 秒、紧张刺激的简笔画学习后,机器之心在画布上画下一颗心脏和一个齿轮。
然后,在文字框中输入相关内容。机器之心输入了「 machine heart」。
接下来,点击生成就将见证奇迹时刻了。
最后,你还能选择生成图像的风格。
当然,需要注意的是,Stable Doodle 现在只提供了 14 种风格供选择,至于未来是否会增加更多选择就不得而知了。
除了对绘图小白友好之外,该工具还能让设计、插画等领域的工作更便捷、高效。
试玩地址为 https://clipdrop.co/stable-doodle,你也快试试吧。
Stable Doodle 远不止这么简单
众所周知,Stability AI 是图像生成模型 Stable Diffusion 背后的初创公司。Stable Doodle 就应用了最新的 Stable Diffusion 技术来识别草图的轮廓,并再次生成富有艺术感的图像。
其实市面上已经有不少草图到图像的 AI 工具了,但 Stability AI 表示,他们的工具最大优势为它允许对图像生成进行更「精确」的控制。
这是因为为 Stable Doodle 提供动力的是 Stable Diffusion XL。它与腾讯研发部门应用研究中心(ARC)开发的「条件控制解决方案」相配对。该控制解决方案称为 T2I-Adapter,既允许 Stable Diffusion XL 接受草图作为输入,又指导模型更好地微调输出图稿。
Stability AI 在推特中表示,T2I-Adapter 与 controlnet 相似,但是效果会更好。通过将可训练的参数添加到现有的大型扩散模型中,T2I-Adapter 可以包含额外的输入条件,如草图、分割图或关键姿势。该框架同时支持多个输入引导模型,增强了对生成过程的控制。对于 Stable Doodle 用例,T2I-Adapter 为预先训练的文本到图像模型 (SDXL) 提供补充指导,使其能够理解草图的轮廓,并根据提示与模型定义的轮廓相结合生成图像。
项目地址:https://github.com/TencentARC/T2I-Adapter
参考链接:
https://stability.ai/blog/clipdrop-launches-stable-doodle?continueFlag=6b17b7a626134700c01cc2e1afe3158a
https://techcrunch.com/2023/07/13/stability-ai-releases-stable-doodle-a-sketch-to-image-
https://twitter.com/StabilityAI/status/1679510473073479682