단테가 자신의 캐릭터와 로봇 친구 단테봇이 빈 극장에서 영화를 보는 짧은 AI 영화를 만들면서, 장면이 자꾸 끊겨 보이는 문제를 어떻게 풀었는지 정리한 영상입니다. 짧은 장면을 따로 만들어 붙이던 방식에서, 잘 나온 장면을 기준으로 앞뒤를 연장하는 방식으로 바꾼 과정이 핵심입니다. 이미지-영상 모델로 여러 컷을 이어 붙이다가 연속성이 깨지는 경험을 한 분께 참고가 됩니다.
캐릭터와 모델 정하기
출발점은 단테가 쓰던 프로필 사진입니다. 선글라스와 묶음 머리를 남기고 입체적인 캐릭터로 바꿨는데, 처음에는 과하게 바뀌었고 귀엽게 해 달라고 하자 볼이 너무 통통해졌습니다. 볼살을 줄이고 후드를 입힌 모습으로 확정했습니다. 옆에 떠다니는 친구가 단테봇입니다. 돌려 볼 수 있는 3D 모델 파일도 만들었지만, 이번 영화에서는 관절을 넣어 움직이지 않고 캐릭터 이미지를 영상으로 만드는 쪽으로 진행했습니다.
모델은 의자를 닦는 첫 장면으로 비교했습니다. 같은 이미지를 넣고 "의자를 닦다가 고개를 들라"고 요청해 세 개 모델의 결과를 봤고, 그중 Seedance가 요청한 구도를 가장 잘 지켜서 이후 장면도 Seedance로 만들었습니다. 단테는 한 장면만 비교한 결과이므로 다른 장면에서도 무조건 낫다는 뜻은 아니라고 덧붙였습니다.
영상부터 만들지 않고 먼저 스토리보드로 장면 순서를 짰습니다. 빈 극장을 정리하던 단테가 봇과 함께 영화를 보는 이야기이고, 만들면서 팝콘 배달과 서로 3D 안경을 씌워 주는 결말을 추가했습니다.
문제 1: 표를 잡는 손
표를 건네는 장면에서 첫 문제가 드러났습니다. 봇의 집게가 종이를 꽉 잡은 것이 아니라, 벌어진 집게 앞에 종이가 붙어 있는 것처럼 보였습니다. 다음 장면으로 넘어가면 표 모양도 달라졌습니다. 장면 하나만 볼 때는 지나쳤는데 이어서 보니 바로 눈에 들어왔습니다.
처음에는 "제대로 잡아 달라"고 프롬프트 문장만 바꿨지만 잘 되지 않았습니다. 그래서 빨간 줄이 있는 표 조각을 집게로 잡은 정지 화면을 먼저 만들고, 영상이 그 화면에 도착하도록 다시 생성했습니다. 집게가 닫힌 다음에 단테가 손을 놓아야 "표를 건넸다"는 동작이 읽힙니다. 문장으로 설명하는 것보다 도착할 화면을 먼저 정해 주는 쪽이 효과가 있었습니다.
문제 2: 전환 효과로는 이어지지 않는다
표를 고쳐도 화면은 여전히 끊겼습니다. 장면이 바뀔 때 인물 위치와 카메라 거리가 같이 바뀌었기 때문입니다. 중간에 화면이 서서히 바뀌는 효과를 넣어 봤지만, 이동하는 과정 자체가 없으니 이어진다는 느낌은 약했습니다. 장면 사이를 부드럽게 섞는 것만으로는 부족했습니다.
안경을 바꾸는 장면도 처음에는 선글라스를 벗기는 영상, 새 안경을 씌우는 영상, 가방에서 하나 더 꺼내는 영상으로 나눠 만들었습니다. 각 동작은 보였지만 손과 카메라 위치가 조금씩 달라졌습니다.
해결: 잘 나온 장면에서 앞뒤로 연장하기
단테는 이전 영상에서 5초를 잘라 입력으로 넣고 이어지는 동작을 생성하는 방식으로 바꿨습니다. ComfyUI 워크플로에서는 영상 입력을 Seedance 노드에 연결하고 작업 방식을 extend로 고르면 됩니다. 노드에는 영상 슬롯과 프롬프트, 길이, 해상도 같은 설정 칸이 있어 생성 기능을 GUI로 다룰 수 있습니다. 이어질 행동을 적고 길이를 30초로 정하자, 단테가 놀라고 봇이 안경을 씌우고 단테가 가방을 여는 동작이 한 번에 나왔습니다. 따로 만든 동작을 붙인 것이 아니라 30초가 한 번에 생성됐고, 카메라도 같은 자리에서 천천히 움직였습니다.
결말이 잘 나왔으니 다시 만들 이유가 없었습니다. 그래서 이번에는 앞쪽으로 연장했습니다. 영상을 거꾸로 재생한 것이 아니라, 팝콘을 받기 직전에 무슨 일이 있었을지 그 앞 30초를 새로 만들어 달라고 한 것입니다. 표를 찢어 나눠 갖고, 영사기를 켜고, 단테가 앉으면 봇이 쟁반을 가져오는 장면이 나왔습니다. 이 장면의 마지막 화면이 기존 배달 영상의 첫 화면과 맞는지, 쟁반과 두 캐릭터의 위치가 만나는지 확인했습니다. 그다음 같은 방식으로 한 번 더 앞쪽을 연장해 의자를 닦고 봇을 만나는 장면까지 채웠습니다. 결말에서 시작해 앞으로 두 번 연장한 셈입니다.
마지막 편집은 HyperFrames로 했습니다. 청소 30초, 표와 착석 30초, 기존 배달 5초, 안경 교환 30초를 순서대로 놓았고 영상 사이에 페이드는 넣지 않았습니다. 음악은 앞서 AI로 만든 곡을 이어 붙였습니다.
정리
- 짧은 장면을 따로 만들어 붙이면 인물 위치, 카메라 거리, 소품 모양이 장면마다 달라져 끊겨 보입니다.
- 손으로 물건을 잡는 동작처럼 문장으로 잘 안 되는 부분은 도착할 정지 화면을 먼저 만들고 그 화면으로 가도록 생성하면 효과가 있었습니다.
- 페이드 같은 전환 효과는 빠진 이동 과정을 대신하지 못합니다.
- 잘 나온 장면 하나를 기준으로 ComfyUI의 Seedance extend로 앞뒤를 연장하는 방식이 연속성을 가장 크게 개선했습니다.
- 그래도 손이 표를 잡는 모습이나 안경 개수처럼 따로 확인해야 할 부분은 남습니다.