목차
- 1. ComfyUI란 무엇인가?
- 2. 설치부터 첫 이미지 생성까지
- 3. 핵심 워크플로우 구성 요소
- 4. 실전 사용 팁 & 장단점 비교
- 5. 마무리: 누구에게 추천하는가
ComfyUI란 무엇인가?
노드 기반 이미지 생성의 시대
ComfyUI는 Stable Diffusion 모델을 노드 기반 인터페이스로 제어할 수 있는 오픈소스 도구이다. 일반적인 WebUI가 버튼 클릭 방식이라면, ComfyUI는 각 처리 단계를 노드로 분리해서 레고 블록처럼 조합하는 방식이다. 솔직히 처음 보면 "이게 뭐야?" 싶을 정도로 복잡해 보이지만, 한번 익숙해지면 다시 돌아가기 어렵다.
왜 지금 ComfyUI인가
2025년 후반부터 2026년 사이 Stable Diffusion 3.5, FLUX.2, Qwen-Image, Wan 같은 새로운 모델들이 쏟아지면서, 기존 WebUI로는 세밀한 파이프라인 제어가 어려워졌다. ComfyUI는 새 모델이 공개되면 가장 빠르게 네이티브 지원을 붙이는 플랫폼이 되었고(공식 docs.comfy.org에 모델별 예제 워크플로우가 곧바로 올라온다), AI 이미지·영상 생성을 진지하게 다루는 사람들의 사실상 표준 도구로 자리 잡았다. 2026년 기준으로는 더 이상 "고급 사용자 전용"도 아니다. 공식 데스크톱 앱이 나오면서 설치 장벽이 크게 낮아졌다.
설치부터 첫 이미지 생성까지
설치 환경 준비
2026년 기준으로 가장 쉬운 길은 ComfyUI 공식 데스크톱 앱이다. comfy.org/download에서 Windows·macOS용 설치 파일을 받아 실행하면 ComfyUI 본체와 ComfyUI Manager가 기본 내장된 상태로 바로 켜진다. 예전처럼 Python 가상환경을 직접 만들고 requirements를 설치할 필요가 없고, 안정 릴리스가 나오면 본체·Manager·uv 실행기까지 앱이 알아서 자동 업데이트해 준다. NVIDIA GPU는 SDXL 기준 8GB, FLUX 계열은 12GB 이상이 현실적인 권장선이다(아래 VRAM 항목 참고).
물론 기존 방식인 수동(portable·Git) 설치도 그대로 유효하다. Python 3.10 이상 환경에서 GitHub 저장소를 클론하거나 Windows 포터블 버전을 압축만 풀어 쓰면 된다. 여러 버전을 병행하거나 커스텀 빌드를 다뤄야 하는 개발자라면 이쪽이 더 자유롭다.
- 가장 쉬움: 공식 데스크톱 앱 다운로드 → 설치 → 실행 (Manager 내장)
- 수동: Python 3.10+ 설치 후 Git clone 또는 포터블 버전 압축 해제
- 체크포인트 모델 파일을
models/checkpoints폴더에 배치(데스크톱 앱은 설정에서 모델 경로 지정) - 수동 실행 시
python main.py후 브라우저에서 127.0.0.1:8188 접속
첫 워크플로우 만들기
ComfyUI를 처음 실행하면 기본 워크플로우가 로드된다. SDXL 같은 체크포인트 기반 모델의 가장 기본적인 구성은 이렇다: Load Checkpoint → CLIP Text Encode(프롬프트) → KSampler → VAE Decode → Save Image. 이 다섯 개 노드만 이해하면 기본적인 이미지 생성은 충분하다. 각 노드를 연결하는 선(와이어)의 색깔이 데이터 타입을 나타내니, 같은 색끼리 연결하면 된다. 메뉴의 Templates(템플릿)에서 SDXL·FLUX·Qwen-Image 등 모델별 공식 예제 워크플로우를 클릭 한 번으로 불러올 수 있으니, 백지에서 시작하지 말고 템플릿부터 여는 것을 권한다.
2026년 모델 선택 가이드
모델 선택이 결과물 품질의 80%를 결정한다. 용도별로 정리하면 이렇다.
- SDXL 계열(8GB~) — 가장 가볍고 LoRA·체크포인트 생태계가 넓다. 실사풍은 RealVisXL·Juggernaut, 일러스트풍은 Animagine·Pony 계열이 무난하다. 빠른 반복 작업과 LoRA 활용에 유리.
- FLUX.1 / FLUX.2(Dev·Klein) — 프롬프트 이해도와 텍스트 렌더링이 압도적이다. 복잡한 구도, 글자가 들어간 이미지에 강하다. FP16 원본은 VRAM을 많이 먹지만, FP8·GGUF 양자화 버전을 쓰면 12GB, 더 낮은 양자화로는 8GB GPU에서도 돌아간다.
- Qwen-Image(20B, Apache 2.0) — 알리바바 Qwen 팀의 오픈 이미지 파운데이션 모델로, 복잡한 텍스트 렌더링과 정밀한 이미지 편집에서 강점을 보인다. ComfyUI는 네이티브·GGUF·Nunchaku 워크플로우를 모두 지원한다.
- Wan 등 영상 모델 — ComfyUI는 이미지뿐 아니라 영상 생성 모델까지 네이티브로 지원한다. 영상은 VRAM과 시간을 크게 요구하니 별도 고사양 환경이 필요하다.
핵심 워크플로우 구성 요소
ControlNet과 조건부 생성
ComfyUI의 진짜 힘은 ControlNet 연동에서 나온다. 포즈 제어(OpenPose), 외곽선 추출(Canny), 깊이 맵(Depth) 등을 노드로 자유롭게 조합할 수 있다. 예를 들어 사진에서 포즈만 추출해서 다른 스타일로 다시 그리는 작업이 노드 서너 개 추가로 끝난다. WebUI에서는 탭을 왔다 갔다 해야 했던 작업이 하나의 캔버스에서 한눈에 보이니 훨씬 직관적이다.
LoRA와 임베딩 활용
특정 스타일이나 캐릭터를 학습시킨 LoRA 모델도 노드 하나로 적용된다. Load LoRA 노드를 Checkpoint과 CLIP 사이에 끼워 넣으면 끝이다. 여러 LoRA를 체이닝해서 동시에 적용할 수도 있고, 각각의 강도를 개별 조절할 수 있다는 게 큰 장점이다. 임베딩(Textual Inversion)도 프롬프트에 키워드만 넣으면 자동 인식된다. FLUX 계열용 LoRA도 같은 방식으로 적용되며, 모델에 맞는 LoRA를 골라 쓰는 것이 중요하다(SDXL용 LoRA를 FLUX에 끼우면 동작하지 않는다).
업스케일과 후처리 파이프라인
AI 이미지 생성에서 업스케일은 필수 과정이다. ComfyUI에서는 Hires Fix 워크플로우를 직접 설계할 수 있다. 1차 생성 → Upscale Latent → 2차 KSampler(낮은 denoise) 순서로 연결하면 디테일이 살아있는 고해상도 이미지를 얻을 수 있다. ESRGAN 같은 전통적인 업스케일러 노드도 지원하니 용도에 맞게 선택하면 된다.
실전 사용 팁 & 장단점 비교
꼭 알아야 할 실전 팁
ComfyUI를 몇 달 써보면서 체감한 팁들을 공유한다.
- 팁 1: 워크플로우를 JSON으로 저장하자.잘 만든 워크플로우는 재산이다. ComfyUI는 워크플로우를 JSON 파일로 내보낼 수 있고, 생성된 PNG 이미지 안에도 워크플로우 메타데이터가 포함된다. 커뮤니티에서 공유된 이미지를 드래그 앤 드롭하면 그 사람의 워크플로우가 그대로 복원되니 적극 활용하자.
- 팁 2: ComfyUI Manager를 활용하자.커스텀 노드 설치와 관리를 GUI에서 할 수 있게 해주는 필수 도구다. 데스크톱 앱에는 기본 내장되어 있고, 수동 설치 사용자는 별도로 깔면 된다. 2025년 말 새 Manager UI가 나오면서 설치 전 노드 정보 미리보기, 빠진 노드 일괄 설치, 의존성 충돌 감지, 악성 노드 스캔·차단까지 추가됐다. 출처가 불분명한 커스텀 노드는 보안상 주의해서 설치하자.
- 팁 3: 서브그래프(Subgraph)로 워크플로우를 정리하자.노드가 20개를 넘어가면 스파게티가 된다. 2025년 정식 출시된 Subgraph 기능을 쓰면 여러 노드·그룹·Reroute를 선택해 하나의 재사용 가능한 서브그래프 노드로 접을 수 있다. 중첩(서브그래프 안의 서브그래프)도 가능하고, 내부 위젯을 바깥으로 노출시켜 펼치지 않고도 값을 조절할 수 있다. 기존 Group·Reroute 정리법과 함께 쓰면 복잡한 파이프라인이 한결 깔끔해진다.
- 팁 4: VRAM이 부족하면 양자화 모델과 메모리 옵션을 쓰자.FLUX FP16 원본은 30GB대를 요구하지만, FP8(~13GB)·GGUF Q4(~7GB) 버전을 쓰면 8~12GB GPU에서도 돌릴 수 있고 화질 차이는 거의 느끼기 어렵다. SDXL은
--lowvram옵션으로 6GB GPU에서도 동작한다(느리지만 OOM 없이 안정적). VRAM이 모자랄수록 "더 작은 모델"이 아니라 "같은 모델의 양자화 버전"을 먼저 찾는 것이 요령이다.
장단점 비교표
| 항목 | ComfyUI (노드 기반) | WebUI (전통 방식) |
|---|---|---|
| 학습 곡선 | 높음 — 노드 개념 이해 필요 | 낮음 — 즉시 사용 가능 |
| 워크플로우 자유도 | 매우 높음 — 무한 조합 가능 | 제한적 — 정해진 UI 구조 |
| 새 모델 지원 속도 | 빠름 — 커뮤니티 즉시 대응 | 보통 — 공식 업데이트 필요 |
| VRAM 효율 | 우수 — 자동 메모리 최적화 + FP8/GGUF 양자화 지원 | 보통 |
| 배치 처리 | 강력 — 복잡한 파이프라인 가능 | 기본적 — XYZ Plot 수준 |
| 커뮤니티 공유 | JSON/이미지로 워크플로우 공유 | 프롬프트 텍스트 공유 위주 |
| 디버깅 | 직관적 — 각 노드 출력 확인 | 어려움 — 블랙박스 처리 |
마무리: 누구에게 추천하는가
이런 분께 강력 추천합니다
ComfyUI는 모든 사람을 위한 도구는 아닙니다. 솔직히 말하면 진입 장벽이 있다. 하지만 아래에 해당한다면 지금 바로 시작해보자.
- AI 이미지 생성을 직업 수준으로 다루고 싶은 분— 상업용 에셋 제작, 컨셉 아트 작업 등 반복 가능하고 일관된 결과가 필요하다면 ComfyUI의 워크플로우 시스템이 압도적이다.
- Stable Diffusion의 내부 동작을 이해하고 싶은 개발자— 노드 하나하나가 실제 파이프라인의 각 단계에 대응하기 때문에, 사용하면서 자연스럽게 디퓨전 모델의 구조를 학습하게 된다.
- 반복 작업을 자동화하고 싶은 분— ComfyUI 서버는 HTTP·WebSocket API를 제공해서, 외부 스크립트에서 워크플로우를 제출하고 입력을 업로드하고 실행을 실시간 추적하며 결과를 받아올 수 있다. 대량 이미지 생성 파이프라인이나 자체 서비스 백엔드로 붙이는 구축이 가능하다.
- WebUI의 한계를 느끼기 시작한 분— ControlNet 멀티 적용, 복잡한 인페인팅, 커스텀 샘플링 스케줄 등 고급 기능이 필요하다면 ComfyUI가 답이다.
처음 시작하는 분께 드리는 조언
ComfyUI 공식 예제 워크플로우부터 시작하자. 기본 txt2img → img2img → ControlNet 순서로 하나씩 익히면 2주 안에 자신만의 워크플로우를 만들 수 있다. 공식 문서(docs.comfy.org)의 모델별 템플릿 워크플로우를 먼저 열어보고, 커뮤니티(Reddit r/comfyui, CivitAI)에서 다른 사람들의 워크플로우를 다운받아 분석하는 것도 훌륭한 학습 방법이다. 2026년 들어 공식 데스크톱 앱과 서브그래프 기능으로 진입 장벽이 한층 낮아진 만큼, AI 이미지·영상 생성의 미래는 이런 모듈형 도구에 있다고 확신하며 ComfyUI는 그 중심에 있다.