WebUI에서 Canny 기능을 사용하여 이전에 생성했던 모델의 포즈나 형태를 거의 동일하게 생성해 낼 수 있습니다. Canny는 이미지의 스케치를 만들어 준 다음 그 위에 색칠을 하는 형태로 뼈대를 바탕으로 그림을 만들어 줄 수 있습니다.
Canny를 사용하시려면 먼저 Webui를 컨트롤 할 수 있는 ‘ControlNet’ 이라는 스테이블 디퓨전 확장 프로그램이 필요합니다.
Stable Diffusion 컨트롤넷 (ControlNet) 다운로드 및 설치 방법
스테이블 디퓨전 모델 형태 및 포즈 유지하기 – Canny
Canny는 Canny edge detection으로 사진의 검은선을 바탕으로 윤곽을 생성해 줍니다.
허깅페이스에서 canny 모델을 먼저 다운로드 해줍니다 .
https://huggingface.co/lllyasviel/sd-controlnet-canny
Canny 적용 경로
/Users/ 사용자 이름 /Documents/stable-diffusion-webui/models /ControlNet/
다운로드 하신 파일은 해당 경로에 넣어 줍니다. 맥북 기준의 경로이며 윈도우도 동일한 경로에 있습니다.
Stable Diffusion 을 설치한 폴더 위치에 따라 경로가 다를 수 있습니다 .
컨트롤넷을 활성화 해주셨다면 Preprocessor를 Canny로 설정해 줍니다.
Weight 값은 컨트롤넷을 사용하면서 가장 중요한 수치입니다.
추출한 데이터를 얼마나 반영할 것인가를 나타내는 수치입니다.
Canny low, high threshold 임계 값을 수정하여 스케치하는 강도를 조절할 수 있습니다. 이는 이미지마다 적정 값이 다르기 때문에 여러 값으로 조절하면서 시도해 보아야 합니다.
스케치를 할 이미지를 업로드 해 주세요, 테두리가 확실한 이미지일수록 스케치가 더욱 잘 됩니다.
‘Preview annotator result’ 를 클릭하시면 canny 의 기능이 사용되어 그림이 스케치 형태로 변환됩니다.
자세는 바꾸고 싶지 않은데 다른 이미지를 생성하고 싶은 경우, Canny 를 이용해 자세를 유지하고 이미지를 재생성하여 비슷한 자세, 포즈로 생성해 낼 수 있습니다. 이제 스케치가 나온 상태에서 프롬프트 값을 입력한 뒤 이미지를 생성해 주시면 됩니다.
