Stable Diffusion XL

Generación de imágenes con el nuevo modelo de Stability.ai a través de su Interfaz de Usuario StableSwarmUI.

Stable Diffusion XL es el último modelo de generación de imágenes de Stability.ai Este modelo es una versión mejorada y más grande de los modelos anteriores de Stable Diffusion ya que cuenta con otro modelo de refinación incorporado, que justamente lo que hace es refinar las imágenes logrando una calidad mucho mayor, superando ampliamente a sus versiones anterior y compitiendo con modelos privados como Midjourney.

Daring astronaut, space suit and helmet, standing in front of futuristic spaceship, adventurous, detailed, high detail, portrait, neon punk style - OfficialStableDiffusionsd_xl_base_10s-899732457

A neon sign reading Tutorial in the shadows of an alley - OfficialStableDiffusionsd_xl_base_10s-1251550199

Cómo usar Stable Diffusion XL con Google Colab para generar tus propias imágenes.

En este post, te voy guiar paso a paso sobre cómo podes usar Stable Diffusion XL en Google Colab, una plataforma de codificación basada en la nube que proporciona acceso gratuito a hardware de alta gama, incluyendo GPUs.

Si te da paja, o lo que sea, pero lo queres probar igual, también podes hacerlo desde el propio DreamStudio de Stability pero ahi arreglate vos o preguntale a gpt. Tambien tiene limitaciones de crédito.

Paso 1: Configuración del entorno de Google Colab

Primero abrir Google Colab y asegurarte de que estás usando una GPU como acelerador de hardware. Para hacer esto, vas a "Entorno de ejecución" y "Cambiar tipo de entorno de ejecución"

Fijate que "GPU" esté seleccionado como acelerador de hardware, lo guardas y listo.

Ahora te copias este código en una celda del cuaderno para instalar las dependencias.

# @title Instalamos las dependencias

# Install dependencies
!apt install dotnet-sdk-7.0 git

# Install Cloudflared (not on apt)
!wget https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb
!dpkg -i cloudflared-linux-amd64.deb

# Download StableSwarmUI
!git clone https://github.com/Stability-AI/StableSwarmUI

# Download ComfyUI backend
%cd /content/StableSwarmUI
!mkdir /content/StableSwarmUI/dlbackend
%cd /content/StableSwarmUI/dlbackend
!git clone https://github.com/comfyanonymous/ComfyUI
%cd /content/StableSwarmUI/dlbackend/ComfyUI

# Setup ComfyUI
!pip install -r requirements.txt

Esto es necesario para poder ejecutar la interfaz alojada, aparentemente en Cloudflare, con el resto de las configuraciones y acceso a los modelos.

Ahora, en otra celda nueva pegas el siguiente código que va a ejecutar todas las dependencias instaladas anteriormente.

# @title Ejecutamos y buscamos la URL en el Output

# Alright, launch it! Watch the output for a Cloudflare URL
%cd /content/StableSwarmUI

!bash ./launch-linux.sh --launch_mode none --cloudflared-path cloudflared --backends_file /content/StableSwarmUI/colab/colab_backends.fds

Entonces, ejecutas las celdas en orden

Al hacer la ejecución del código, vas a ver que las “Instrucciones/Código” van incrementando en la pantalla. Espera a que termine de ejecutarse para proceder con la ejecución de la segunda parte del código.

Una vez que lo ejecutaste correctamente vas a tener a disposición un link en el output que abre una instancia de la interfaz para poder generar las imágenes. Tenes que encontrar algo como esto

Paso 2: Instalación de StableSwarmUI

StableSwarmUI es la interfaz que el equipo de Stability lanzó junto a StableDiffusion XL. Para instalar esta interfaz, tenes que aceptar la licencia

Elegir el color de la interfaz que prefieras, seleccionar que lo vas a ejecutar solo en tu PC (aunque en este caso sea una máquina de Google) y elegir la forma en la que se va a ejecutar StableDiffusion seleccionando ComfyUI.

Ahora activa los modelos que vas a usar, en este caso, StableDiffusion XL base y refiner.

Paso 3: Generación de imágenes con StableSwarmUI

Una vez adentro de la interfaz de usuario de StableSwarmUI tenes que asegurarte de usar los modelos correctamente, vas a la pestaña de Models, seleccion los puntitos y despues OfficialStableDiffusion, ahi vas a ver los modelos instalados y seleccionar el modelo base

Paso 4: Uso del modelo refiner

Si quieres usar el modelo refinado y obtener mas calidad añadiendo mas detalle a tus imágenes, tenes que ir a la opcion de '>Refiner' (se encuentra en el menu debajo del botón de Generate Image), activarlo y seleccionar el modelo refiner en el menú desplegable.

En el menú desplegable del refinador debería aparecernos el nombre del modelo refiner que instalamos previamente, si no es asi, volvemos a cargar la página y eso debería resolver el problema.

Paso 5: Experimentación

Una vez que hayas instalado la interfaz y configurado los modelos, podes empezar a generar imágenes. Con el modelo base de StableDiffusion XL seleciconado, ajustas la resolución y el aspect ratio según tus necesidades, y escribis el prompt en el cuadro de texto. Después haces clic en "Generar imagen" y esperar.

AI machine in the shadows of an alley under a neon sign - OfficialStableDiffusionsd_xl_base_10s-2127181548

Ahora que ya sabes cómo usar StableDiffusion XL en Google Colab, podes experimentar con diferentes prompts y ajustes para generar tus propias imágenes. Recorda que podes utilizar imágenes de inicialización para guiar la generación de la imagen, y también usar prompts negativos para evitar ciertos elementos en las imágenes.

Private detective cat wearing a hat in the shadows of an alley - OfficialStableDiffusionsd_xl_base_10s-144064751

Además si por error o por curiosidad elegiste el modelo refiner como modelo base en la seccion de modelos. Lo que sucede es que en vez de generar imagenes con la lógica estructural del modelo xl_base, los resultados se vuelven un poco mas abstractos con patrones y cosas raras.

Cat wearing a hat in the shadows of an alley - OfficialStableDiffusionsd_xl_refiner_1-1340367385

► Proba Stable Diffusion XL gratis en Colab! enlace

► Instala Stable Diffusion en tú ordenador! enlace

► Probaba Stable Diffusion XL online! enlace