Stable Diffusion在ipad叫什么?(在Mac/iPad/iPhone上使用AI绘画)

时间:23-11-03 14:53:11

作者:

分类:AI软件教程

  在AIGC(人工智能绘画生成)的浪潮中,每个人都有机会成为一位艺术家。然而,长期以来,AI一直与显卡,特别是Nvidia支持的CUDA显卡紧密相连。在Mac平台上运行AI应用通常需要一些额外的努力。但随着苹果软硬件的不断升级,现在在Mac/iPad/iPhone上使用Stable Diffusion变得越来越容易。在本文中,我们将介绍两种主要的方法来在苹果设备上使用Stable Diffusion。a9fe6a97920592d507c39b78c4c5719b

Core ML Stable Diffusion:苹果的宠儿

  苹果为Stable Diffusion推出了两种主要方法,它们都可以在CPU、GPU和NE等多种运行环境下运行:

Swift Core ML Diffusers

  这是一个来自Huggingface的开源Demo,它使用苹果的工具将Stable Diffusion模型转化为CoreML格式,然后将其保存在Huggingface上。用户可以根据需要下载相应版本的CoreML模型来生成图像。

  优势:开源,支持多种不同的运行条件,包括GPU、NE、GPU+NE等,同时也支持iOS版(需要自行编译),CoreML速度快。

  缺陷:不支持直接导入本地模型,示例中模型数量相对较少,需要用户自行添加。

  兼容性和功能:

      macOS Ventura 13.1

      iOS/iPadOS 16.2

      Xcode 14.2(需要自行构建)

  在MacBook Pro M1 Max(64 GB内存)上,使用CPU + GPU运行,Stable Diffusion v2-base模型在macOS上仅需约8秒。在iPhone 13 Pro上,使用CPU + Neural Engine,Stable Diffusion v2-base模型需要23到30秒。

Mochi Diffusion

  这是一个由网友制作的开源Demo,它使用苹果的Swift调用CoreML,允许用户自行下载CoreML格式的模型并将其放入指定文件夹以运行,也可以下载Stable Diffusion并使用苹果的工具将其转换后再导入。

  优势:开源,支持多种不同的运行条件,包括GPU、NE、GPU+NE等,同时支持直接导入本地模型,CoreML速度快。

  缺陷:不支持iOS版。

  兼容性:

      搭载Apple芯片的Mac

      macOS Ventura 13.1

      Xcode 14.2(需要自行构建)

MPSGraph派:基于Maple Diffusion的选择

Waifu Art AI

  这个应用搭载了Aniplus V1模型,这是一个基于Stable Diffusion 1.5 + Waifu Diffusion 1.3 + TrinArt Characters v1的二次元绘画风格模型。作者还添加了画风选择和中文输入翻译系统。

  优势:支持Mac/iPad/iPhone,界面提供中文界面。

  缺陷:不开源,模型选择有限,参数相对较少。

  兼容性:

      macOS 12.3

      iOS/iPadOS 16.0,需要6 GB内存以上的设备,如iPad M1/M2、iPhone 13 Pro、iPhone 14或iPhone 14 Pro。

Draw Things

  这款应用几乎是最强大的Stable Diffusion使用工具之一,备受推崇。作者形容制作过程为”Stretch iPhone to its Limit”,其2GiB模型可以绘制几乎任何东西。

  优势:支持Mac/iPad/iPhone,提供多种参数和模型选择,iPhone上只需2GB内存。

  缺陷:不开源,导出的模型与其他工具不兼容,速度稍慢于苹果的CoreML。

  兼容性:

      macOS 12.4

      iOS/iPadOS 15.4,需要A12芯片和2GB以上内存的设备。

总结

  有了以上四个选择,每个人都可以在自己的Mac/iPad/iPhone上愉快地使用Stable Diffusion。然而,需要注意的是,这些工具有不同的兼容性要求:

      对于iPhone和iPad,通常需要A12芯片或更高,以及4GB甚至6GB以上的内存,并且对iOS/iPadOS版本也有特定要求。

      对于Mac,主要取决于硬件和系统版本,M1/M2系列芯片效果最佳,但有些模型对Intel芯片有潜在的约束。

  此外,这些工具通常在首次运行时加载较慢,因为首次出图速度特别慢,但随后会加快。现在,您可以随心所欲地在苹果设备上尽情享受Stable Diffusion的乐趣了。