La primera vez que usé ControlNet, el resultado me hizo reír: estaba muy lejos de lo que había imaginado. Luego aprendí cómo funcionan realmente los esqueletos de pose, y todo cambió de la noche a la mañana. Sin ControlNet, escribes un prompt y esperas que la IA componga la escena tal como la visualizas. Con ControlNet, especificas poses exactas, bordes, mapas de profundidad, composiciones y distribuciones espaciales, y la IA genera dentro de esas restricciones precisas. Tiende un puente entre la generación aleatoria y la dirección artística profesional, dándote el tipo de control que los fotógrafos tienen sobre sus sujetos y que los directores tienen sobre sus escenas. Si te tomas en serio el arte con IA —ya sea para trabajo comercial, proyectos personales o portafolios profesionales— ControlNet es una habilidad esencial. Esta guía cubre todo, desde los conceptos básicos hasta los flujos de trabajo avanzados con múltiples ControlNet.
ControlNet es una arquitectura de red neuronal que condiciona la generación de imágenes de Stable Diffusion a partir de una imagen de entrada adicional: una "imagen de control" que guía la composición, la estructura o la pose del resultado. Funciona como una extensión tanto en A1111 como en ComfyUI. El concepto es elegante: proporcionas una referencia —un esqueleto de pose, un mapa de bordes, un mapa de profundidad, un mapa de segmentación o incluso un boceto dibujado a mano— y la IA genera una nueva imagen que sigue esas restricciones estructurales mientras aplica el estilo, el contenido y la calidad descritos en tu prompt de texto. Piensa en ello como darle a la IA un plano arquitectónico: el plano determina la estructura, mientras que tu prompt determina la estética. El poder de ControlNet radica en que separa la composición del contenido. Puedes tomar la pose de una fotografía de moda, el estilo de un prompt de fantasía y la iluminación de una descripción cinematográfica, combinándolos en una sola imagen intencional que coincide exactamente con tu visión creativa. Los modelos de ControlNet son gratuitos, de código abierto y están disponibles tanto para las arquitecturas SD 1.5 como SDXL. Se pueden usar múltiples modelos de ControlNet simultáneamente en una sola generación, lo que te permite controlar la pose Y la profundidad Y el detalle de bordes al mismo tiempo.
Existen más de una docena de tipos de modelos ControlNet, pero estos son los que usarás el 90% del tiempo:
OpenPose detecta y controla las poses corporales. Sube cualquier foto de referencia de una persona y ControlNet extrae el esqueleto de pose: una figura de palitos que muestra las posiciones de las articulaciones. La IA genera entonces una persona completamente nueva en esa pose exacta, con el estilo y la ropa que describe tu prompt. OpenPose es el modelo ControlNet más popular porque el control de poses es la necesidad más común. También tiene variantes: OpenPose Face añade detección de puntos de referencia faciales (control de expresión), y OpenPose Hand mejora el posicionamiento de las manos.
Canny Edge detecta los bordes de una imagen de referencia y los usa como guías de composición. Crea un dibujo lineal de la referencia, y la IA rellena los detalles según tu prompt. Canny es increíblemente versátil: úsalo para mantener la composición de una foto existente mientras cambias completamente el estilo, para convertir un boceto en una ilustración terminada, o para garantizar que las líneas arquitectónicas permanezcan rectas y precisas.
Depth crea un mapa de profundidad a partir de una imagen de referencia, mostrando la relación espacial entre los elementos cercanos y lejanos. La IA usa esta información de profundidad para mantener la misma distribución espacial: los elementos del primer plano permanecen al frente, los del fondo se quedan atrás, y la estructura tridimensional general se conserva. Perfecto para paisajes, interiores arquitectónicos y cualquier escena donde la precisión espacial sea importante.
Lineart está diseñado específicamente para dibujos lineales y bocetos. Extrae arte lineal limpio de una referencia y lo usa para guiar la generación. Este es el mejor ControlNet para artistas que quieren esbozar una composición aproximada y que la IA la renderice en una ilustración pulida.
Scribble es el modelo más permisivo: funciona con bocetos toscos y garabatos. Incluso un boceto rápido de 30 segundos proporciona suficiente guía estructural para una imagen coherente. Este es el ControlNet más accesible para quienes no son artistas pero quieren control compositivo sin necesidad de habilidades de dibujo.
Tile amplía y añade detalle a las imágenes. Divide la imagen en mosaicos y regenera cada uno con detalle adicional, guiado por la composición original. Este es el ControlNet de referencia para el escalado de imágenes IA que añade detalle nuevo y genuino en lugar de simplemente interpolar píxeles.
Aquí está el flujo de trabajo exacto para usar ControlNet de manera efectiva, desde la referencia hasta la imagen final:
Paso 1: Elige o crea tu imagen de referencia. Puede ser una fotografía (para referencia de pose o composición), un boceto que hayas dibujado tú mismo, una captura de pantalla de una película (para inspiración compositiva) o incluso una figura 3D posada con una herramienta gratuita como Magic Poser o Daz3D. La referencia no necesita verse bien: solo necesita transmitir la información estructural que deseas.
Paso 2: Carga la referencia en ControlNet y elige el preprocesador correcto. En A1111, expande la sección ControlNet debajo de los campos de prompt, sube tu imagen y selecciona el preprocesador y el modelo. OpenPose para poses corporales, Canny para bordes y composición, Depth para distribución espacial, Scribble para bocetos aproximados. Haz clic en el botón de vista previa para ver el mapa de control extraído antes de generar.
Paso 3: Escribe tu prompt como de costumbre. Tu prompt de texto se encarga de todo lo que ControlNet no hace: estilo artístico, iluminación, colores, ambiente, ropa, detalles del personaje. ControlNet se encarga del DÓNDE y la ESTRUCTURA; tu prompt se encarga del QUÉ y el CÓMO.
Paso 4: Ajusta el peso y la guía de ControlNet. El peso (0.0-2.0, valor predeterminado 1.0) controla con qué fuerza la imagen de control influye en la generación. Con 1.0, sigue la referencia de cerca. Pesos más bajos (0.4-0.7) permiten mayor libertad creativa. Pesos más altos (1.2-1.5) imponen una adherencia más estricta. Comienza en 1.0 y ajusta según los resultados. El inicio/fin de la guía de control te permite especificar en qué paso del proceso de generación se activa y desactiva ControlNet; esto es útil para técnicas avanzadas donde quieres que ControlNet establezca la composición inicial pero deje que la IA refine libremente en los pasos posteriores.
Paso 5: Genera e itera. Genera 4 imágenes, evalúa cuál se ajusta mejor a tu visión y ajusta el peso o el prompt para el siguiente lote. El ciclo iterativo con ControlNet es mucho más rápido que sin él, porque la composición ya está fijada: solo estás refinando el estilo y los detalles.
ControlNet desbloquea aplicaciones profesionales que el prompting solo con texto no puede lograr:
Arte de personajes y cómics: Usa OpenPose para generar el mismo personaje en diferentes poses para una página de cómic o una hoja de personaje. Usa imágenes de referencia de pose para cada viñeta, mantén la consistencia del personaje con --cref o LoRA, y produce una página de cómic completa con una variedad de poses a nivel profesional.
Fotografía de producto y colocación: Usa Depth ControlNet para colocar productos en ubicaciones específicas dentro de una escena. Toma un mapa de profundidad de la ubicación deseada para tu producto, y la IA genera el entorno a su alrededor con una precisión espacial perfecta.
Visualización arquitectónica: Usa los bordes Canny de bocetos arquitectónicos o renders CAD para generar renders arquitectónicos fotorrealistas. Los bordes garantizan la precisión estructural mientras el prompt controla los materiales, la iluminación y la atmósfera.
Moda y diseño de ropa: Usa OpenPose para generar modelos en poses específicas de pasarela vistiendo conjuntos generados por IA. Diseña la ropa en tu prompt, controla la pose del modelo con OpenPose y produce imágenes de lookbook de moda sin necesidad de fotógrafo ni modelo.
Animación y movimiento: Usa OpenPose con referencias de poses secuenciales para crear animaciones cuadro a cuadro. Combinado con AnimateDiff, esto permite animación asistida por IA con poses de personajes consistentes.
Diseño de interiores: Usa mapas de profundidad de fotografías de habitaciones para rediseñar interiores. El mapa de profundidad preserva la distribución espacial de la habitación mientras tu prompt transforma completamente el estilo, el mobiliario, los materiales y la iluminación.
El verdadero poder surge cuando apilas múltiples modelos ControlNet simultáneamente. En A1111, puedes habilitar múltiples unidades ControlNet (hasta 3 o más). En ComfyUI, simplemente añade múltiples nodos ControlNet Apply a tu flujo de trabajo. Ejemplo: usa OpenPose para la pose del personaje + Depth para la distribución espacial del fondo + Canny para el detalle arquitectónico, todo en una sola generación. Cada ControlNet controla un aspecto diferente de la imagen. Establece pesos distintos para cada uno: un peso fuerte de OpenPose (1.0) para una coincidencia de pose precisa con un peso de Depth más ligero (0.5) para una guía espacial general. Este enfoque multi-ControlNet es la forma en que los artistas de IA profesionales logran el nivel de control compositivo que hace que su trabajo parezca dirigido intencionalmente en lugar de generado aleatoriamente.
Instala la extensión ControlNet en A1111 (busca "ControlNet" en la pestaña Extensions) o añade nodos ControlNet en ComfyUI (instala a través de ComfyUI Manager). Descarga los modelos ControlNet desde Hugging Face: son gratuitos y generalmente pesan entre 700 MB y 1,4 GB cada uno. Comienza con OpenPose: es el más intuitivo y el que tiene un impacto inmediato. Hazte una selfie en la pose que deseas, cárgala como referencia, añade un prompt de PromptSpace para el estilo y genera. La combinación del control preciso de composición de ControlNet y los prompts de alta calidad de PromptSpace produce resultados profesionales e intencionales que el prompting aleatorio solo con texto simplemente no puede igualar. Explora promptspace.in para encontrar prompts optimizados para flujos de trabajo con ControlNet y empieza a crear arte IA dirigido hoy mismo.
