영상에서 단테는 여수 밤바다에서 아버지를 기다리는 가족을 주제로 45초 AI 영상을 만들면서 무엇을 설계했고 어디서 실패했는지를 실제 작업 화면으로 보여줬습니다. 한 컷씩은 괜찮은데 이어 붙이면 이야기가 끊기는 문제를 겪어 본 분, AI 영상 생성에서 움직임과 외형을 따로 통제하는 방법이 궁금한 분께 맞는 내용입니다.
문제: 컷마다 괜찮아도 이어 붙이면 끊긴다
영상 첫 장면은 실패 사례입니다. 배가 가족에게 다가오는데, 다음 컷에서는 다시 멀어져 있습니다. 한 장면씩 보면 문제가 없어도 이어 붙이면 이야기가 끊길 수 있다는 것이 이번 작업의 출발점이었습니다.
스토리보드와 Blender로 움직임 설계
먼저 스토리보드를 따로 만들었습니다. 기다리는 가족, 돌아오는 배, 도시의 불빛, 발견과 손 인사까지 이야기 순서를 정하는 자료입니다. 이 보드를 이어 붙인 45초 초안으로 컷 길이도 살폈습니다. 다만 보드를 그대로 영상 생성에 넣지는 않았고, 촬영 구도는 이후 Blender에서 조정했습니다. 특히 야경 컷은 보드와 다른 구도를 골랐습니다.
Blender에서는 배의 경로, 카메라, 인물 위치와 팔 동작을 먼저 만들었습니다. 이 렌더 영상을 완성본에 붙인 것이 아니라 AI가 움직임을 참고할 입력으로 썼습니다. 결과를 나란히 보면 외형과 물결은 달라지고, 움직임도 완벽하게 복사되지는 않습니다.
그래서 외형 참조 이미지를 따로 준비했습니다. Blender 프레임을 바탕으로 인물의 옷, 배의 색, 조명을 맞췄습니다. 엄마의 모래색 코트, 딸의 겨자색 옷, 아버지의 남색 작업복을 이어 가려는 설정입니다. 정리하면 영상은 움직임의 기준, 이미지는 외형의 기준으로 역할을 나눈 것입니다. 텍스트만으로 매 장면을 새로 상상하게 하는 방식과는 다릅니다.
ComfyUI 워크플로우와 모델 선택
생성은 ComfyUI의 클라우드 버전인 Comfy Cloud에 ComfyUI MCP를 연결해 진행했습니다. 워크플로우 구조는 단순합니다. 왼쪽 위 이미지 노드가 외형을, 아래 영상 노드가 Blender 움직임을 읽고, 두 선이 가운데 MiniMax H3 생성 노드의 이미지 입력과 영상 입력으로 들어갑니다. 오른쪽 Save Video 노드가 결과를 저장합니다. MCP는 이 워크플로우에 생성 요청을 보내고 작업 상태를 확인하는 데 썼습니다.
같은 Blender 영상과 같은 외형 이미지로 MiniMax H3와 Seedance 2.5를 비교했습니다. 이 야경 컷에서는 MiniMax H3가 배의 이동을 더 잘 따라갔고, Seedance 2.5는 구도를 더 고정한 쪽이었습니다. 그래서 이 컷에는 MiniMax H3를 골랐습니다. 단테는 이것이 전체 성능 순위가 아니라, 이 장면에서 지키려던 동작을 기준으로 한 선택이라고 설명했습니다.
프롬프트 수정으로 배 방향 바로잡기
배 방향이 뒤집힌 컷도 있었습니다. 실제 사용한 워크플로우를 다시 열어 가운데 생성 노드를 선택하고, 오른쪽 속성 패널에서 프롬프트를 바꿨습니다. 수정 문장에는 다음 조건을 적었습니다.
- 선미는 화면 왼쪽, 선수는 오른쪽
- 배는 오른쪽으로 전진
- 배경 오른쪽의 다리 유지
수정 출력에서는 방향과 다리가 돌아왔습니다. 단테는 프롬프트를 바꿨다는 사실만으로 성공이라고 판단하지 않고, 원래 지키려던 조건과 결과를 다시 비교했다는 점을 강조했습니다.
놓친 부분: 컷 사이의 연결
그래도 놓친 것이 있었습니다. 배가 다가오는 장면 다음에 손 인사 장면을 붙이자, 배가 작아지면서 다시 멀어진 것처럼 보였습니다. 컷마다 다른 외형 이미지를 쓰면서 시작 상태를 충분히 맞추지 못한 것이 원인이었습니다.
수정 방법은 앞 컷의 마지막 프레임을 다음 컷의 외형 기준으로 삼는 것이었습니다. Blender에서도 앞 컷이 끝난 지점의 배 위치와 카메라를 이어받고, 배를 멈춘 상태에서 손만 움직이도록 바꿨습니다.
이야기도 가족의 반응 중심으로 고쳤습니다. 처음에는 딸이 바다를 바라보며 기다리고, 돌아오는 배를 발견한 뒤 아버지가 먼저 손을 들고 딸이 답합니다. 마지막에는 넓은 야경 대신 두 사람의 표정으로 돌아와, 처음의 기다림과 마지막의 안도가 이어지게 했습니다. 이를 위해 새 얼굴 기준 이미지와 반응 동작도 따로 준비했습니다. 배에서 내리거나 포옹하는 장면까지 만들지는 않았습니다.
한계도 분명합니다. 참조 영상을 넣어도 손가락, 얼굴, 배의 형태는 조금씩 달라질 수 있습니다. 또 이 작품은 여수의 분위기를 참고한 창작 영상이지 실제 지형을 정밀하게 재현한 것이 아닙니다. 생성한 컷은 편집에서 길이를 조정하고 음악, 물결 소리, 엔딩 문구를 따로 붙였습니다.
정리
- 스토리보드로 이야기 순서를 잡고, Blender로 움직임을 설계하고, AI 결과를 검수하며 연결하는 순서로 작업했습니다.
- 움직임은 참조 영상, 외형은 참조 이미지로 역할을 나누면 텍스트만 쓸 때보다 통제가 쉬워집니다.
- 모델 선택은 전체 순위보다 해당 컷에서 지켜야 할 동작을 기준으로 했습니다.
- 옷과 조명뿐 아니라 첫 프레임의 배 크기, 진행 방향, 시선과 손 인사 순서까지 컷 사이에서 맞춰야 합니다.
- 앞 컷의 마지막 프레임을 다음 컷의 기준으로 쓰면 연결이 끊기는 문제를 줄일 수 있습니다.