ComfyUI - pose 자세 인식 시키기

선 요약

후 사설

 

 

 

 

요약

   필요한 파일은 해당 강의 영상에 모두 링크 되어 있다. PDF파일을 실행 하면 받아야 하는 파일의 링크가 있다.

[ soy.lab ] COMFY UI REALTIME DUAL CAPTURE! Toyxyz Webcam + openpose + photoshop 동시 사용하기! #comfyUI

   이 영상에서는 웹캠이라 해서 프로그램의 화면을 촬영해서 거의 실시간에 가까운 방법으로 포즈를 수정 할 수 있게 하는 것을 설명하고 있다. 다만 웹캠은 설치가 생각보다 쉽지 않거나 어렵지 않다 하더라도 나 처럼 수월하게 진행되지 않는 사람들이 있을 것이다. 이 게시 글에서는 웹캠 기능만 제거해도 작동하는 것에 대해서 적겠다.

pose capture.json

0.01MB

 

 

 

 

 

 

 

사설

 설치 방법에 대해서는 이전 글을 봐주길 바한다.

Xtra의 그 무엇 :: 스테이블 디퓨전 3.5 설치(사실상 comfyUI에 스테이블 디퓨전 불러오기이다.)

스테이블 디퓨전 3.5 설치

 

Xtra의 그 무엇 :: ComfyUI_toyxyz_test_nodes 설치하기(빠진 설명이 있어서 설치불가 이 글은 그걸 극복하는 내용이다.)

ComfyUI_toyxyz_test_nodes 설치하기

 

 링크들을 요약 하자만 comfyUI를 설치하고 거기에 AI 학습 데이터를 가져와서 사용하는 것이다. 설치는 ComfyUI 압축 파일을 받고 해제해서 학습 데이터를 정해진 폴더에 넣고 그냥 실행하면된다. 설치 과정 조차 존재하지 않는다. 다만 사전에 설치에 필요한 프로그램들이 따로 있는데 그건 그냥 vs2022 무료 버전 같은걸 설치해두면 어지간한건 다 되어 있을것이다. 아마도 파이썬을 설치하는 것이 과정에 있을건데 내가 본 영상에서는 그게 없어서 정확히는 모른다.

 다만 프로그램을 작업할 환경이 일부 되어 있으며 comfyUI는 바로 작동 할 수 있다는 것이다.

 

 

 이 글에서 하고 싶은것은 Pose를 잡아서 그림을 그리는것이다.

 위에 요약에 있지만 해당 스샷과 json파일이 있다. 내가 두번째로 참고한 영상에서는 실시간으로 포즈를 변경해서 AI에게 빠르게 요청하는 방법인데 웹캠 작동이 생각보다 쉽지 않았기 때문에 그냥 웹캠 없이 작동할 수 있는 상태로 만들었다.

 필요한 파일들은 영상에 가보면 링크다 있으니 거기서 받거나 조금 잘 아는 사람이라면 자신이 원하는 것을 받으면 된다.

 다만 여기에 대해서 조금 해설할것은 있다. 

 따로 빠져 있는 Lora? 이것은 특정 학습 데이터인듯 한데 이게 있으면 더 빠르고 더 좋은 퀄리티로 작업물이 나온다고 한다. 사용방법은 lora를 불러 올 수 있는 폴더에 넣고 보라색 선 사이에서 다시 이어주면 된다.

 스테이블 디퓨전 3.5를 사용하지 않는다. 아직 시도 해보지 않았지만아마도 학습 데이터에 따라 학습 내용이 다른 만큼 영상에서 알려준 데이터 말고 다른것을 사용해볼 가치는 거의 없다고 생각한다. 다만 VAE라는 것이 조금 마음에 걸리는데 이게 자세를 잡는것에 중용한 역할을 하는거라면 다른 학습 데이터를 사용하는것은 어렵지 않을것이다.

 

 대충 이런 발상으로 이것 저것 시도 해보면 결과가 나온다.

 적어도 한번은 분해 해보는 경험이 있어야 만지기 수월 할테니 수고들 하라 

 

 

 model은 블렌더에서 사용할 수 있는 파일을 나는 따로 구했다. 블랜더에 addon도 설치해줘야 하고 초심자에게는 상당히 복잡할텐데 내 생각이 맞다면 굳이 3D모델을 사용하지 않아도 각 관절을 나타내는 각 색상만 맞춘다면 손으로 그린것도 인식하는 것에 문제가 없을것이다. 너무나 당연하다는 듯이

 애초에 3D 모델로는 과장된 움직임을 표현 할 수 없어서 나는 직접 그리는 방법으로 사용할것 같다.