LCM-LoRA: Difusión estable de alta velocidad

El modelo de consistencia latente LCM-LoRA lleva esta idea a un punto superior al aplicarla en modelos de difusión latente, como la difusión estable, donde la eliminación de ruido ocurre en el espacio latente.

¿Qué es LCM-LoRA?

LCM-LoRA es una IA entrenada con modelos base de difusión estable (v1.5 y SDXL) mediante el método de consistencia.

A diferencia de los incómodos LCM convencionales que requerían entrenamiento para cada modelo personalizado, LCM-LoRA puede acelerar la generación de imágenes a solo cuatro pasos, siendo compatible con cualquier modelo de punto de control personalizado.

¿Cómo funciona LCM-LoRA?

Para entender su funcionamiento, es importante comprender el modelo de consistencia y los modelos de coherencia relacionados.

Un modelo de coherencia, como el SDXL, es un modelo de difusión eficiente entrenado para producir una imagen en un solo paso, siendo una versión más rápida del modelo maestro.

LCM-LoRA aprovecha la idea del modelo de consistencia, pero en lugar de entrenar un modelo de punto de control, se entrena un LoRA para un LCM.

LoRA, un pequeño archivo de modelo diseñado como un parche, ofrece portabilidad y un entrenamiento más rápido al tener menos pasos.

Método de muestreo

El modelo LCM se entrena para realizar inferencias en un solo paso, intentando producir la imagen final en un único intento.

Aunque la calidad puede no ser óptima, aquí es donde LCM-LoRA destaca, aplicando un método de muestreo que mejora la calidad de la imagen final.

Usos en AUTOMATIC1111

LCM-LoRA eleva la eficiencia en el uso de AUTOMATIC1111, acelerando la generación de imágenes SDXL en un flujo de trabajo ComfyUI descargable.

Además, explora la versión ComfyUI para la rápida generación de vídeos (AnimateDiff).

Transformando la generación de imágenes

LCM-LoRA no solo acelera la difusión estable, sino que también democratiza su uso al ser aplicable a cualquier modelo personalizado.

Este desarrollo representa un salto significativo en la eficiencia y calidad de generación de imágenes, mostrando el potencial innovador de la inteligencia artificial en la difusión de alta velocidad.

Con información de Stable Diffusion.