선 요약
후 사설
요약
이론상 안됀다고 생각하지만 막상 나온 결과를 그럴듯 해보인다.
사설
애니메이션 한 장면을 그려보려고 한다.
그 과정에서 가능한 많은 기술을 사용해보고 했고 결과적으로 애니메이션 장면을 하나 그리자고 마음먹한 기술은 프레임 보간 프로그램 FlowframesApp이다. 인터넷에서 애니메이션의 장면을 60프레임으로 수정했다는 영상이 다 이 기술이 들어간 프로그램으로 만들어진것이다.
이것 저것 생각하던 나는 이 기술이 정상적인 프레임 보완은 되지 못하지만 콘티나 채색전이 동화 같은 미완성 시점에서 사용해서 작품을 질을 올릴 수 있지 않을까 생각해보았다. 하지만 애니메이션을 조금 공부해본 대부분의 사람들이 이런 생각을 했다가 금방 접을 것이다. 이론상 말이 안되기 때문이다.
이건 애니메이션에 국한된 이야기가 아니다 모든 완성되어 있는 영상 매체에 해당하는 상식적인 문제이다. 애니메이션이 아니라 영화라고 하자. 24프레임인 영화 A를 프레임 보간으로 48프레임으로 두배 늘린다고 가정해보자
영상은 이미지의 연속고 1초 동안 24장의 이미지가 변화하는 장면의 과정을 가지고 있다. 그 변화의 과정이 일정한 속도냐? 아니면 가속하냐? 아니면 감속하냐? 정도로 구분할 수 있을 것이다. 이 일정(등속), 감속, 가속에 따라서 보간에 질이 달라진다.
등속 (일정한 속도)
위 사진을 보면 알 수 있을것이다. 일정한 속도로 변화는 장면은 일정한 간격으로 그림을 추가 해주는것 만으로 쉽게 두배 부드러운 장면이 만들어진다. 변화가 적어 AI도 장면을 추리하기가 쉬워서 질도 상당히 좋게 나온다.
가장 문제는 거의 대부분의 장면에는 감속과 가속이 존재한다는 것이다
가속을 보간하면 어허게 되는가?
가속은 이미 쵤영된 상태에서 프레임 보간을 하려고 하면 중간 지점에 이미지를 추가할때 마땅한 장소가 없다. 이미 적당한 간격으로 장면이 촬영되어 영상이 만들어져 있는데 그걸 무리하게 다시 쪼개면 같은 변화가 두장이 되어 버리기 때문에 가속하다 등속하다를 반복하게 되는데 이걸 눈으로 보면 가속하다 감속하다가 반복하는것으로 보이게 된다.
그렇기 때문에 장면을 추가할때는 그 뒤로 이어지는 모든 장면을 새롭게 배치하고 그려야만한다. 기술로 프레임 보간을 하는 것은 절대로 불가능하다. 그 말은 즉 이미 완성되어 있는 작품에 장면을 추가하는 것은 완전하게 불가능 하다는 것이다. 특히 장면간에 격한 가속도의 변화가 있다면 더더욱 불가능하다.
그러면 조금씩 가속되는것 처럼 위치를 조절하면 되는것 아니냐 라고 생각할 수 있다.예를 들어서 정확하게 반반이 아니라 4:6정도로 해서 위치를 잡으면 어떨까? 위의 이미지가 마침 거리가 표시 되어 있으니 그걸 기준으로 적어보겠다.
처음에 1cm니까 4:6이면 4mm와 6mm이동이다.그 다름 부터 2,3,4씩 1cm씩 늘어나니 실제 거리 변화를 숫자로 적으면
4, 6, 8, 12, 12, 18, 16, 24로 중간에 등속 하나와 감속이 아나 발생하게 된다. 여기까지는 장면을 배분하는 문제였고 추가로 변화가 복잡한 장면인 경우 AI가 추리하는데 한계가 있다. 그건 아래 형채를 알 수 없는 그림을 보면 알 수 있을것이다.
이렇게 설명하고 있자니 내가 지금 무슨 실험을 하고 이있는건가 스스로에 대한 신뢰도 무너질것 같은데 아무튼 프레임 보간은 이미 완성된 영상물에 할 작업이 아니다. 그래서 이 작업을 마치고 나면 추가되는 장면은 완성된 장면이라기 보다는 흐트러진 장면이 많은데 이 기법은 실제 애니메이션에서도 장면을 부드럽게 하기 위해서 사용되기도 하긴 하지만 아무때나 마구 납용해도 되는 방법은 절대 아니다.
이미 완성된 영상에는 이 기능은 아무런 의미가 없다고 단언할 수밖에 없다. 도무지 이 한계를 극복하는것이 상상이 되지 않는다.
하지만 처음에 적었듯이 아는 이 기술을 완성이 아닌 미완성에서 활용해보고자 했다.
사실 결과는 똑같다. 아무리 미완성이라지만 프레임 보간을 기술을 사용한다고 해서 뭔가 달라지는 것이 아니다. 하지만 분명히 차이점이 있어 보인다. 단순하게 컷의 중간 지점을 나눈것이 아닌 느낌이 들었다. 그걸 파해쳐 보기 위해서 나는 펜을 들었다.
나는 여기서 아이디어를 얻을 수 있을 거라 생각했다.
이 그림은 30프레임 초당 10장 30/10 = 3코마로 그려진 장면이다. 이 장면을 프레임 보간 해보았다.
늘어났다 줄었다 찰떡지는 장면이 되었지만 사실 중간 중간의 장면은 형채도 남아 있지 않는 흐릿한 그림이다.
다만 나는 여기서 중간에 어떻게 장면을 채우면 좋을지 상상이 되었다 그걸 바탕으로 그린 장면이다.
위 이미지는 60프레임에 초당 20장 60/20 = 3코마 애니메이션이다.
이게 뭐가 대단한가? 솔직히 나도 뭐가 대단하다고 말해야 할지 모르겠지만 개인적으로 내가 해냈다. 는 달성감이 있다. 1초를 20장으로 쪼재 그리는것에 성공했다는 달성감이 있다. 그것도 매우 안정적이고 속도감을 죽이지 않으면서 20장으로 쪼갠것이 스스로 대단하다고 느끼고 있다.
재능이 있는 사람이 아닌한 아무런 도움없이 초당 24장으로 쪼깬다? 무리라고 생각한다. 그 대단한 디즈니 애니메이션도 로토스코핑의 도움없이 그 완성도는 나올 수 없었을것이다. 인간이 혼자의 힘으로 1초를 24장으로 쪼개는것은 정말 엄청나게 어려운 작업이다.
그런 의미에서 이 결과물은 프레임 보간은 상당히 도움이 되었다는 증거물이라고 생각한다.
그래서 무엇을 도움 받았는가?
일단 최소 보통 결과물이라는 것이다. 최소 5:5 기준으로 중간 지점을 만들어 주고 가끔은 그 이상의 결과물이 나올때가 있다. 여기에 올리지 않았지만 "이게 정답이구나"라고 느낀 장면이 있었다. 그것도 다 그린다음에 올리면서 설명하겠다. 어차피 그림을 그리는 입장에서 흐릿한 현상에서 영감을 얻기도 하는 법인데 개인의 역량에 범위이긴 하지만 분명히 아이디어를 재공하고 있다.
어쩌면 스스로가 스스로를 구원할 방법을 찾을 기회를 준다고 평가해도 될것 같다.
초당 20장으로 그려진 모습을 상상할 수 있게 해주었다.
이걸 나쁘게 말하자면
보간된 프레임의 99%는 나의 상상력으로 그렸고 1장은 완전 파기 했다. 간격이 부자연 스러운건 당연한 결과이기 때문에 새롭게 2개 장면을을 추가했고 천장에 발을 붙이는 시간을 3프레임(0.05초) 추가해서 뛰어 나가는 부분의 시간을 줄여 속도감을 살렸다.
이렇게 말하면 누가 동화 실수한걸 직접 체크해서 보정한것 같은데...
아무튼 그래도 작업은 하니까 결과물이 나오게 된다.
Gif가 느리게 보이거나 안보이는 사람은 아래 영상을 올리겠다.
조금 더 떠들자면 내가 30프레임 10장 3코마로 그리는것은 24프레임에서 보면 약 2.5.코마에 해당한다. 아무튼 1초에 10장이 보여지는 것이고 24프레임 애니메이션에서 3코마는 8장 2코마는 12장이니 딱 그 사이만큼의 부드러움이 존재하며 경우에 따라서 30프레임은 분할이 많이 되어 있는 만큼 속도를 조절하기 매우 쉽게 되어 있다. 6~1코마 사이로 동화를 조절하여 아주 쉽가 빠르게 속도감을 조절 할 수 있다.
이번 60프레임 20장은 여전히 3코마이지만 초당 20장이 들어간다. 풀프레임 애니메이션이 24프레임 24장 1코마 애니메이션이다. 분명 나는 3코마이지만 장수로만 보면 1.2코마 애니메이션이 된다.
분명 대단하다고 생각한다...
