생성형 AI - 05

ComfyUI 

[Comfy UI 설치]

https://github.com/comfyanonymous/ComfyUI/releases

Releases · comfyanonymous/ComfyUI

1. Comfy UI 설치 - Download Link with stable pytorch 2.1 cu121
   *압축풀때 7-Zip으로 풀면 빨리 된다.
   *파일 다운로드 후에는 run_nvidia_gpu.bat으로 실행하면 된다.
   
   
2. ComfyUI Manager 설치
   경로 ComfyUI_windows_portable\ComfyUI\custom_nodes에 가서 창에서 우클릭으로 CMD열고
   아래의 것을 붙여 넣고 엔터
   git clone https://github.com/ltdrdata/ComfyUI-Manager.git
   
   *설치후 run_nvidia_gpu.bat을 재 시작하면 메인 조작창 안에 ‘Manager’가 생기고 이를 클릭하면 Manager menu가 열린다.
   
   
3. Webui를 사용한다면 체크포인트와 로라등을 공유할 수 있도록 경로 설정해줄 수 있다.
   ComfyUI_windows_portable\ComfyUI\extra_model_paths.yaml.example 파일을 찾아서
   Config for a1111 ui 부분의 base_path의 주소를 바꿔주고 저장.
   파일명의 .example을 지워주어야한다. ( extra_model_paths.yaml 로 만들기 )
   

   

4. 워크플로우를 PNG로 저장하는 스크립트 
   주소 복사하여 Install via Git URL로 설치
   https://github.com/pythongosssss/ComfyUI-Custom-Scripts

 

해당 부분을 이용해 필요한 노드 install하기

• Install Custom Nodes: A1111의 Extention처럼 노드를 골라 설치하는 것
  
  
• Install Missing Custom Nodes: Workflow를 열었을때 빠져있는 노드를 자동으로 찾아주는 부분
  https://www.toolify.ai/gpts/fix-missing-comfyui-easy-installation-guide-136047

Fix Missing ComfyUI: Easy Installation Guide

[Comfy UI 실습]

화면 더블 클릭해서 필요한 노드 불러오기

 

Ctrl + 왼쪽 클릭 : 드래그

Shift + 왼쪽 클릭 : 노드 이동

Alt + 왼쪽 드래그 : 노드 복사

 

<기본 T2I 노드> 

Empty Latent image - 인코더 역할, 처리할 이미지 사이즈 설정용
VAE Decode - 처리한 이미지를 꺼내는 역할 
Preview Image - 미리보기로 결과 출력하는 노드, 저장하려면 Save Image 사용

Prompt 실행 버튼 : Queue Prompt

 

<기본 I2I 노드> 

 

최근에 나온 체크포인트는 Vae를 학습하여 나오기 때문에 따로 Load VAE를 안쓰긴 하지만 필요시 달아줄 수 있다.

I2I에서 제일 중요한 요소는 KSampler에서 Denoise값을 어떻게 설정하느냐이다. 0.5가 기본이라고 생각하고 수치가 높아질 수록 Load Image파일보다 변형이 많이 된다.

 

 

<컨트롤넷의 활용>

컨트롤넷은 프롬프트와 k sampler 사이에 노드를 위치시켜야한다.

 

---

[AI로 영상 제작]

1.Gen2 이용하는 방법. ( 쉬움 )

미묘한 움직임을 나타낼 때 유용. 빠른 움직임 영상 표현은 잘 안됨.

기본적으로 동적영역(ex 사람), 정적영역(ex 집)을 구분하여 컨트롤 해줌.

미드저니 등 AI에서 이미지 생성 후 짧은 영상으로 제작할 때 Gen2 많이 사용. ai 숏폼 같은 느낌. 

4초까지 안정적으로 나오나 이후부터 색상이 깨지는 현상이 있음.
완전 스타일라이즈 캐릭터는 형태를 잘 못잡음.

특정 부위별로 움직임을 컨트롤해줄 수 있다. 

이미지를 기반으로 움직임을 생성할 때 너무 많은 프롬프트를 넣어주면 헷갈려한다.

 

2.스테이블디퓨전 animatediff 사용하는 방법. 

섬세한 컨트롤이 힘들다. 모션 로라 등을 함께 사용.

---

[기타 참고 자료]

* CapCut 영상 편집 프로그램

https://www.capcut.com/ko-kr/

CapCut | AI 기반의 올인원 동영상 에디터 및 그래픽 디자인 도구

* Pika ai - 영상 제작 프로그램

https://pika.art/home

Pika

 

* AI sora 영상 편집 프로그램 

디퓨전 모델과 구조가 달라서 ai가 알아서 분위기를 잘 잡아내는데 유리하다고 한다.

https://openai.com/index/sora/