小米 × Daniel Arsham 联名手机宣传片

2022年11月的时候,有幸受邀用AI为小米和美国著名艺术家Daniel Arsham联名的限量国际版手机 Xiaomi 12T PRO做了宣传片,现在和大家分享一下创作流程和用到的AI技术哈~!

March 11, 2023 • 5 min read

by Simon Meng, mp.weixin.qq.com • See original

2022年11月的时候,有幸受邀用AI为小米和美国著名艺术家Daniel Arsham联名的限量国际版手机 Xiaomi 12T PRO做了宣传片,现在和大家分享一下创作流程和用到的AI技术哈~!

▶已发布的原片网址:https://twitter.com/Xiaomi/status/1596488947919720448

所用AI工具:

Stable Diffusion webUI automatic 111 + SD 1.5 model / dreambooth / Stable Diffusion studio / frame interpolation + Real-ESRGAN + 手工后期(工具下载网址放在最后)

创作步骤:

1. 设计脚本+生成意向图:

手机的主题是give it time,中文可以理解为“隽永”,或者“历久弥新”。根据这个主题,设计了三个场景:来自过去/送给现在/回到未来。

由于每个场景都有自己的时间线,因此每个场景需要多个prompt,然后生成大量的场景参考图片,并且根据甲方反馈不断修改关键词和参数,以下是各个场景的基础文案和其中的部分过程图片。

▶来自过去———在漫长岁月里,沧海桑田,日月变换,在天地万物之中锻造出了一块坚韧而神秘的方形石碑,并最终幻化为美轮美奂的手机包装盒。

▶送给现在——将手机界面/屏幕比作时空传送门,从未来穿越时空来到了熙熙攘攘的现代城市中,接受人们的围观和瞩目;

▶

回到未来

——这款已成为艺术品的手机,已经成为一种永恒的象征。经过漫长岁月的洗礼,它依旧熠熠生辉,犹如宇宙中的一颗永恒之星,降落在未来文明的城市中。

2. Finetune模型

由于最后生成的动画中需要包含手机和包装盒的主要特征,所以需要对模型进行finetune。我首先对手机的正面、背面和包装壳在不同背景和光照条件下各拍摄几十张照片,然后用dreambooth对SD 1.5 模型进行finetune,直到能够相对清楚地通过identifier word生成手机的对应内容为止。(多说一句,这个手机背壳和包装的设计及最终产品呈现的质感,是我见过的最漂亮的,没有之一)

finetune模型使用的图片(部分)

使用训练完毕后的模型对手机背壳进行重生成的部分结果

3. 关键帧确定

使用训练好的模型,将identifier word和前面测试过的场景prompt进行融合,再次生成大量包含产品特征的图片,并根据甲方反馈进行调整,最后选定每个场景对应故事线的关键帧。

finetune模型后,将手机背壳特征融入宇宙星辰

“回到未来”视频关键帧:手机从星辰中炼化,并逐渐降落到星球表面,背景为未来城市

4. 动画生成

将这些关键帧用stable diffusion stuido进行补帧连接(现在或许可能直接使用stable diffusion webui deforum里边的image guide来做了),生成视频,并根据结果进行微调。

5. 手工修帧

导出生成的帧,并手工删除或修改一些有瑕疵的帧,并将手机/包装盒实物照片手工P到每个视频最后一帧(视频最后需要定格在产品上,作为最终定格帧来说,AI生成的手机图像还是不够精致和逼真)。

修帧前后对比图

6. AI放大+插帧

使用Real-ESRGAN放大到2K分辨率;使用frame interpolation对一些不够流畅的地方进行插帧;手工处理视频的锐度、饱和度、对比度等——交差!Yeah!

最后再看一遍成品视频!

工具下载地址:

▶Stable diffusion webUI automatic 111: https://github.com/AUTOMATIC1111/stable-diffusion-webui

▶Dreambooth (colab版,也可使用SD webui的插件,或者尝试使用Lora替代): https://github.com/TheLastBen/fast-stable-diffusion

▶Stable diffusion studio(搭配SD webUI使用,但是好像已经不和最新版的SD兼容了): https://github.com/amotile/stable-diffusion-studio

▶Frame interpolation:https://github.com/google-research/frame-interpolation

▶Real-ESRGAN:https://github.com/xinntao/Real-ESRGAN

搜索