Stable Diffusion 로컬 설치 최신 가이드 (2026)

Stable Diffusion 로컬 설치, 왜 해야 할까

클라우드 vs 로컬, 근본적인 차이

Midjourney나 DALL-E 같은 클라우드 서비스는 편리하지만, 매달 구독료가 나가고 생성 횟수에 제한이 있다. 반면 Stable Diffusion 로컬 설치는 초기 세팅만 끝나면 무제한 생성이 가능하다. 전기세 빼고는 공짜라는 뜻이다. 나는 월 30달러짜리 구독을 끊고 로컬로 전환한 뒤, 오히려 더 다양한 실험을 하게 됐다.

2026년 현재 로컬 환경의 장점

2026년 기준으로 Stable Diffusion은 SDXL, SD 3.5(Large/Medium), 그리고 Flux.1 모델까지 로컬에서 돌릴 수 있다. 특히 ComfyUI의 발전 덕분에 복잡한 워크플로우도 노드 기반으로 쉽게 구성할 수 있고, LoRA나 ControlNet 같은 확장 기능도 자유롭게 적용할 수 있다. ComfyUI는 새 모델을 가장 먼저 지원하는 편이라, 2026년 현재 SD 3.5와 Flux 워크플로우의 중심 도구로 자리 잡았다. 무엇보다 내 데이터가 외부 서버로 전송되지 않는다는 점이 프라이버시 측면에서 큰 장점이다.

필요한 최소 PC 사양

GPU: NVIDIA VRAM 12GB(RTX 3060 12GB·4070급) 이상 권장. 2026년 기준 SD 3.5·Flux까지 무난히 다루려면 VRAM 12GB가 현실적인 하한선이다. 8GB(RTX 4060 등)도 SDXL이나 양자화한 Flux로 충분히 시작할 수 있고, 6GB도 Forge의 자동 메모리 관리로 SDXL을 돌릴 수 있다.
RAM: 16GB 이상 (32GB 권장)
저장공간: SSD 최소 50GB 여유 (모델 파일이 2~12GB씩 한다)
OS: Windows 10/11 또는 Ubuntu 22.04+
Python: 수동 설치 시 3.10.x 권장 (3.11/3.12는 호환성 문제 간혹 발생). ComfyUI 데스크톱 앱이나 Forge 원클릭 설치를 쓰면 Python 환경은 자동으로 잡힌다.

설치 방법: WebUI vs ComfyUI 완전 비교

Automatic1111 WebUI 설치 (자료는 방대하나 유지보수 정체)

오랫동안 가장 대중적이던 프론트엔드다. 설치 과정이 비교적 단순하고 커뮤니티 자료가 방대해서, 문제가 생겨도 검색하면 거의 답이 나온다. 다만 2026년 기준 Automatic1111 본체는 2024년 중반 이후 의미 있는 업데이트가 거의 없어 사실상 정체 상태이고, SD 3.5나 최신 Flux 지원이 늦다. 그래서 새로 시작한다면 ComfyUI나 Forge Neo(아래)를 권한다. 아래 절차는 기존 자료/확장과의 호환이 꼭 필요한 경우를 위한 참고용이다.

2026 업데이트

A1111의 빠른 대안으로는 Forge Neo가 있다. A1111과 거의 같은 폼 기반 UI를 유지하면서도 활발히 유지보수되고, A1111 대비 30~75% 빠르며 VRAM도 덜 쓰고 Flux를 지원한다. A1111 인터페이스가 익숙하다면 Forge Neo로 갈아타는 편이 낫다.

Python 3.10 설치

설치 시 "Add to PATH" 반드시 체크. 3.12를 설치했다가 torch 호환 에러가 나서 30분을 날린 적이 있다. 꼭 3.10 버전을 쓰자.

Git 설치 후 저장소 클론

Git을 설치하고, 원하는 폴더에서 아래 명령어를 실행한다.

                    Terminal
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
                

webui-user.bat 실행

첫 실행 시 자동으로 필요한 패키지를 설치한다. 10~20분 소요. 완료되면 브라우저에서 http://127.0.0.1:7860에 접속하면 된다.

ComfyUI 설치 (2026년 가장 추천)

노드 기반 인터페이스로, 워크플로우를 시각적으로 구성할 수 있다. 처음엔 복잡해 보이지만 익숙해지면 훨씬 유연하고, 특히 Flux 모델이나 SD 3.5, 복잡한 파이프라인을 구성할 때 ComfyUI가 압도적이다. 2026년 현재 가장 활발히 개발되며 새 모델을 가장 먼저 지원한다. 예전엔 포터블 압축본을 풀어 쓰는 방식이 일반적이었지만, 지금은 공식 데스크톱 앱(원클릭 설치)이 나와서 Python·PyTorch 등 환경을 자동으로 잡아준다.

공식 데스크톱 앱 설치

공식 사이트 comfy.org/download에서 설치 파일을 받아 일반 프로그램처럼 설치한다. Python 환경과 의존성을 알아서 구성하고 자동 업데이트도 된다. Windows(NVIDIA GPU)와 macOS(Apple Silicon)를 지원한다. 명령줄이 익숙하면 GitHub의 포터블 버전을 그대로 써도 된다.

실행 및 모델 배치

설치 후 앱을 실행한다(포터블 버전은 run_nvidia_gpu.bat 실행). 모델 파일은 models/checkpoints/ 폴더에 넣으면 된다. 브라우저로 접속하는 포터블 버전은 http://127.0.0.1:8188 주소를 쓴다.

A1111 / Forge Neo / ComfyUI 비교 (2026)

항목	Automatic1111	Forge Neo	ComfyUI
난이도	쉬움 (클릭 기반)	쉬움 (A1111과 유사)	보통 (노드 연결 방식)
유연성	보통	보통	매우 높음
VRAM 효율 / 속도	보통	좋음 (A1111 대비 30~75% 빠름)	매우 좋음 (최적화 우수)
SD 3.5 · Flux 지원	늦음 (SD 3.5 미지원)	Flux 지원, SD 3.5는 개발 중	가장 먼저·네이티브 지원
확장 프로그램	매우 풍부	A1111 자산 상당수 호환	커스텀 노드 풍부
커뮤니티 자료	매우 방대	성장 중	매우 방대
유지보수 상태	사실상 정체 (2024 중반 이후)	활발 (커뮤니티 포크)	매우 활발
업데이트 속도	거의 멈춤	빠름	매우 빠름

모델 선택과 세팅 최적화

2026년 추천 모델

모델 선택이 결과물의 80%를 결정한다고 해도 과언이 아니다. 2026년 기준으로는 SDXL(빠른 반복), SD 3.5 Large(고품질 포토리얼리즘), Flux.1 dev(최고 수준 프롬프트 이해) 세 계열이 실사용 워크플로우의 대부분을 커버한다.

Flux.1 dev: 프롬프트 이해력이 뛰어나고 텍스트 렌더링까지 잘 된다(28스텝). 빠른 변형으로 4스텝짜리 Flux.1 schnell도 있다. FP16 원본은 소비자 GPU엔 부담이라, GGUF Q4(약 7GB)나 FP8(16GB에서 품질 대비 가장 무난) 양자화본으로 돌리는 게 일반적이다.
SD 3.5 Large / Medium: 고해상도 포토리얼리즘에 강하다. Large는 FP8로 12GB에 들어가고, Medium은 12~16GB에서 여유 있게 돌아간다. 현재는 ComfyUI 중심으로 지원되며 A1111은 미지원, Forge는 개발 중이다.
SDXL + RealVisXL: 여전히 빠른 반복 작업의 기본기. VRAM 8GB로도 돌릴 수 있어 접근성이 좋다.
Pony Diffusion V6 XL: 일러스트/애니메이션 스타일에 특화. 캐릭터 생성 퀄리티가 상당하다.

모델은 Civitai나 Hugging Face에서 다운로드할 수 있다. 다운받은 파일은 WebUI 기준 models/Stable-diffusion/, ComfyUI 기준 models/checkpoints/에 넣으면 된다.

VRAM 부족할 때 대처법

VRAM이 8GB 이하인 분들을 위한 팁이다.

WebUI: webui-user.bat에서 COMMANDLINE_ARGS에 --medvram 또는 --lowvram 추가
ComfyUI: 실행 시 --lowvram 플래그 사용
생성 해상도를 512x512 (SD 1.5) 또는 1024x1024 (SDXL)로 제한한 뒤 upscale
FP16 대신 FP8 양자화 모델 사용 (Flux 모델에 특히 효과적)

나는 RTX 3060 12GB로 Flux FP8 모델을 돌리는데, 1024x1024 이미지 한 장에 약 25초 정도 걸린다. 충분히 쓸만한 속도다.

LoRA와 ControlNet 활용

기본 모델만으로도 좋지만, LoRA를 추가하면 특정 스타일이나 캐릭터를 정밀하게 제어할 수 있다. ControlNet은 포즈, 윤곽선, 깊이맵 등을 입력해서 구도를 잡아주는 도구인데, 이 두 가지를 조합하면 상업용 수준의 결과물도 가능하다.

실전 사용 팁 5가지

프롬프트 작성의 핵심

Tip 1

품질 태그를 앞에 배치하라. "masterpiece, best quality, highly detailed"을 프롬프트 맨 앞에 넣으면 전반적인 퀄리티가 확 올라간다. 네거티브 프롬프트에는 "worst quality, low quality, blurry"를 기본으로 넣어두자.

Tip 2

가중치 문법을 활용하라. 강조하고 싶은 요소에 (키워드:1.3) 형식으로 가중치를 줄 수 있다. 1.0이 기본이고, 1.5 이상은 과하게 적용될 수 있으니 1.1~1.4 사이를 추천한다.

Tip 3

Seed 값을 고정하고 변수를 하나씩 바꿔보라. 프롬프트, 샘플러, CFG 스케일을 동시에 바꾸면 뭐가 효과가 있었는지 알 수 없다. 과학적으로 접근하는 게 시간을 아끼는 방법이다.

성능과 품질을 모두 잡는 설정

Tip 4

샘플러는 DPM++ 2M Karras로 시작하라. 속도와 품질의 균형이 가장 좋다. Steps는 20~30이면 충분하고, 그 이상은 시간 대비 차이가 미미하다.

Tip 5

Hires Fix 또는 외부 업스케일러를 활용하라. 기본 해상도로 생성한 뒤 2배 업스케일하면, 처음부터 고해상도로 생성하는 것보다 빠르고 결과도 좋다. 업스케일러는 4x-UltraSharp나 ESRGAN 계열을 추천한다.