생성형 AI - 02

 

Midjourney와 StableDiffusion(ControlNet, IP-Adapter를 중심으로)

 

클립모델 ( 형상과 물체이름을 동시에 학습시킨 모델 ) - 단어에 잘 반응하는 강점

확산모델 ( 노이즈를 이용해 비슷한 형상을 찾아가는 모델 ) - 구체적 형상 찾는데 강점

 

Midjourney는 클립 모델을 사용하다가 확산모델을 일부 받아들어 v04 이후 부터 업그레이드 되었다.

Midjourney는 사용자들의 데이터를 학습하기 때문에 사람들의 관심도가 높은 이미지들이 자주 등장하게 된다.

 

StableDiffusion은 좀 더 개인적인 컨트롤이 가능하다는 장점이 있다.

 

ComfyUI는 StableDiffusion으로 회사에서 사용할 어떤 파이프라인을 만들고 싶을 때 사용.

 

Midjourney는 평균 이미지 퀄리티가 좋으나 컨트롤이 어렵다. StableDiffusion의 ControlNet과 같은 기능이 없다.

StableDiffusion은 컨트롤은 가능하나 디테일한 Prompt를 적지 않으면 이미지 퀄리티는 좋지 않을 수 있다.

<Midjourney로 이미지 만들고 영상화 하기>

미드저니는 Discord용과 Web용 두 가지 접근 방식이 있다.

 

Midjourney Discord: https://discord.gg/midjourney

Join the Midjourney Discord Server!

개인서버를 만들어서 Midjourney를 사용하면 다른 사용자와 이미지를 공유하지 않을 수 있다. ( 미드저니 회사는 볼 수 있음)

 

Midjourney Web : https://alpha.midjourney.com/home?callbackUrl=%2Fexplore

Midjourney alpha라고 불리는 웹 버전은 이미지 기반, 또는 옵션바 제공으로 돌아가도록 해놨기 때문에 Prompt를 사용할 필요가 줄었다.

 

상세설명이 공식 문서에 잘 적혀있으니 사용 전에 한번 읽어보는 것을 권장.

미드저니 공식 홈페이지 : https://docs.midjourney.com/

Midjourney Documentation and User Guide

 

미드저니는 이미지 Prompts를 먼저 제시, 이후에 텍스트 Prompt, 맨 마지막에 조절하는 Parameters를 입력해주어야한다.

순서가 중요하다. 그리고 각 구분에서도 자신이 가장 중요하다고 생각하는 Prompt를 각 구분의 맨 앞에 사용해주어야한다.

파라미터 작성 시 한칸을 띄우고 '--' 써주기

 

생성형 AI를 잘 사용하기 위해서는 잘 나온 결과물의 Prompt나 이미지들 또는 다른 사람들은 참고 작업물을 아카이빙 해놓는 것이 중요하다.

미드저니는 아카이빙 기능을 제공하여 저장해놓으면 Prompt, 날짜와 버전 등을 확인 할 수 있다. 버전이 달라지면서 결과물도 바뀌기 때문에 예전에 사용했던 Prompt를 다시 돌리면 새로운 결과물을 볼 수 있다.

 

캐릭터나 스타일 레퍼런스를 지정 가능해지면서 생성 캐릭터의 일관성을 유지할 수 있어지면서 웹툰 업계나, 컨셉아트에서 활용도가 높아졌다.

 

현재 최대 2K까지 지원해준다. 더 큰 사이즈를 위해서는 다른 업스케일링 AI 사이트나, 기능을 사용해야한다.

 

<파라미터>

파라미터는 사용시 앞선 프롬프트에 한칸 띄고, --파라미터이름 한칸띄고 수치를 적어주어야한다.

 

레퍼런스를 걸때 디스코드에서는 주소를 넣어주고, 웹에서는 이미지 업로드 창이 있어서 거기 업로드 해주면 된다.

캐릭터 레퍼런스 : --cref 웹주소

스타일 레퍼런스 : --sref 웹주소

 

버전 : 예시 --v 6.0

스타일밀도 : 예시 -- s 250, 숫자가 높을 수록 이미지에 밀도가 높아짐. 최대 1000 

스타일 튜너 : Prompt부분에 --style ~~~~~~~ -- 라고 쓰인부분이 있는데 이부분을 사용하면 비슷한 스타일로 컨트롤이 가능하다.

캐릭터 웨이트 : -- cw 00 -- 주어진 이미지 레퍼런스를 얼마나 참고할 건지, 따라갈 건지 수치로 조절

 

---

미드저니는 초창기 실사 이미지 생성형으로 만들어졌는데,

일본 카툰체의 수요가 높아 일본의 회사와 협업해서 일본풍의 이미지를 뽑아내는 용도로 만들어 진 것이 니지저니이다.

니지저니는 버전 4를 지나 5부터 퀄리티가 완성되어졌다고들 한다.

미드저니 안에서도 니지저니를 사용할 수 있다. -- niji 5 식으로 쓰면 니지저니 5버전으로 일본 카툰 스타일로 만들어줌

https://nijijourney.com/ko

 

 

<미드저니 디스코드용의 기능들>

미드저니를 처음 생성하면 4개의 이미지를 보여준다. 이를 통해 원하는 이미지에 가까운 것을 업그레이드 시켜나가거나 아예 새로 생성할 수 있다. 4개의 이미지는 왼쪽 위부터 1,2,3,4번 이다. 밑에 뜬 U1 같은 경우 1번 이미지를 업스케일 시켜주라는 의미. V1은....?

 

Remix Prompt : 옵션에서 Remix를 체크해야 뜨는 창, 기본 이미지를 수정, 업그레이드 시키고 싶을 때 추가로 Prompt를 수정할 수 있도록 창을 띄워준다. 리믹스 모드에서 추가하는 요소들은 맨 앞에 적어야 반영이 잘 된다.

 

디스코드에서 미드저니 생성하면 받은 편지함에 일주일 정도 메시지가 남고, 웹 버전에는 자동으로 연동되어 남기 때문에 메시지가 사라지면 웹으로 넘어가서 확인하면 된다.

 

수정 기능 :버전 5부터는 디테일한 부위를 선택해서 수정하는 기능이 들어왔다. 첫 프롬프트 4장 제시시에는 사용할 수 없다.

 

Pan 기능 : 이미지를 원하는 방향으로 늘려줄 수 있다. 첫 프롬프트 4장 제시시에는 사용할 수 없다.

 

앞서 설명한 디스코드용 기능들은 Midjourney alpha(Wed용)에서 똑같이 사용할 수 있으며, UI는 더 보기 편하게 되어있다.

---

<Prompt>

용어적 편차가 있기 때문에 자신이 원하는 이미지를 표현하는 용어가 무엇인지 파악하는 것이 중요하다.

---

AI로 생성된 이미지는 현재까지 1차 생성물에 대해서는 저작권을 인정받을 수 없다.

단, 1차 생성물을 기반으로 수정이 가미되었을 경우에는 2차 생성물에 대해서는 저작권을 인정받을 확률이 높아진다고한다.

 

하지만 저작권 문제와 다르게 표절의 문제는 있을 수 있다.

---

https://ai-designer-allan.tistory.com/entry/%EC%8A%A4%ED%85%8C%EC%9D%B4%EB%B8%94-%EB%94%94%ED%93%A8%EC%A0%84-Checkpoint-lora-vae-embedding-%EC%99%84%EB%B2%BD%EC%A0%95%EB%A6%AC#google_vignette

스테이블 디퓨전 Checkpoint, lora, vae, embedding 완벽정리

---

파인튜닝과 LoRA

https://practical-data.tistory.com/49

AI 추가 학습의 종류와 리소스(Fine-Tuning, Prefix tuning, LoRa)

특정 스타일에 대해서 경량화된 학습을 시킨 것이 LoRA

StableDiffusion에서는 이 LoRA를 결합하여 사용할 수 있다. 그렇기 때문에 특정 이미지 스타일을 유지하는 것에 좀 더 유능하다.

 

앞서 AI를 이용한 1차 생성물 저작권은 인정되지 않는다고 했는데,

자신이 짠 Prompt, Parameter 또는 옵션 수치, 그리고 LoRA 등을 가지고 일관된 이미지를 만들어 낼 수 있다면 이 것 들 자체가 자신의 자산이 될 수 있다.

---

현재 이미지를 영상화 하는 AI 중 효율성이 높은 Gen 2

 

https://research.runwayml.com/gen2

Gen-2 by Runway

---

 

https://wikidocs.net/233993

04 ComfyUI

 

https://www.facebook.com/groups/ac.lab

로그인 또는 가입하여 보기

 

https://discord.com/invite/mGDVJxZeDA

Join the AIcreator Discord Server!

 

https://www.studiogage.com

Home | studiogage