小米发布新项目SDXS，大幅提升SD图像生成速度

摘要： 之家月日消息消息源近日发布推文爆料分享了苹果的渲染图并透露了三大重大调整采用垂直排列的相机岛根据本次曝光的渲染图以及此前其它消息源苹果可能重新设计机身背面采用垂直摄像头配置引入月日...

IT之家 3 月 7 日消息，消息源 Majin Bu 近日发布推文，爆料分享了苹果 iPhone 16 的 CAD 渲染图，并透露了三大重大调整。采用垂直排列的相机岛根据本次曝光的 CAD 渲染图，以及此前其它消息源，苹果可能重新设计 iPhone 16 机身背面，采用垂直摄像头配置。引入 ...

3月27日 消息:近日，小米发布了一项名为的项目，该项目旨在大幅增强SD图像生成速度。据悉，SDXS可以在单个GPU上实现SD1.5每秒100张图的生成速度，而SDXL则能达到每秒30张图的生成速度。这一项目估计是为了在小米的本地设备上运行SD模型而研究的。

扩散模型在图像生成任务上取得了优异的性能，但由于模型庞大且需要多步采样，推理速度很慢，难以部署在低功耗设备上。为了解决这些问题，可以采用剪枝、知识蒸馏、量化等常见的模型压缩方法。本文的优化思路主要有两个方面:一是模型微型化，二是减少采样步数至1步。

项目地址：

在项目介绍中，小米采用了知识蒸馏技术来简化U-Net架构和图像解码器。同时，他们还引入了一种创新的单步训练技术，这种技术通过特征匹配和成绩蒸馏来训练扩散模型。基于这些优化措施，小米开发了两款模型，SDXS-512和SDXS-1024。这两款模型在单个GPU上分别能达到大约每秒100帧（比SD v1.5快30倍）和每秒30帧(比SDXL快60倍)的处理速度。

此外，小米表示，这种训练方法在图像条件控制方面展现出巨大的潜力，有效地实现了图像到图像的快速转换。这一突破性的进展将有助于推动图像生成技术的发展，同时也为小米在人工智能领域的研究和应用提供了有力支持。