이 영상에서 단테는 평범한 작업실 문 안쪽에만 우주 포털이 열리는 영상을 ComfyUI로 만들고, MCP로 Codex와 ComfyUI를 연결해 같은 작업을 에이전트에게 맡기는 과정을 보여 줍니다. 생성 영상에서 배경이 흔들리는 문제를 어떻게 구조적으로 줄이는지, 에이전트에게 영상 작업을 맡길 때 무엇을 직접 설계해야 하는지 궁금한 분께 도움이 됩니다.
출발점: Kiro의 Frontier Engineering
영상의 출발점은 Kiro가 공개한 Frontier Engineering 글입니다. Kiro는 AWS에서 만든 AI 개발 환경이고, 이 글은 에이전트가 일할 환경과 결과를 확인하는 방법까지 설계하자는 실무 원칙을 담고 있습니다. 단테는 이 생각을 코드가 아닌 영상 제작에 적용해 봤습니다. 문제 설정은 단순합니다. 첫 결과물에서 문틀까지 휘어 버렸는데, 방은 그대로 두고 문 안쪽에만 포털을 여는 것이 목표입니다.
ComfyUI의 노드와 워크플로 기초
ComfyUI는 이미지나 영상을 만드는 처리 단계를 상자로 놓고 선으로 연결하는 도구입니다. 상자 하나를 노드, 연결 전체를 워크플로라고 부릅니다. 어떤 모델과 설정으로 만들었는지 저장해 두고 다시 수정할 수 있다는 점이 장점입니다.
이번 원본은 촬영본이 아니라 생성한 작업실 이미지입니다. 단테는 템플릿에서 영상 생성 예제를 검색해 출발점으로 삼았습니다(설명란에 Wan 2.2 영상 생성 실습 링크가 있습니다). Comfy Cloud에서는 서버에서 실행되지만, 로컬에서는 모델 파일과 실행 환경을 따로 준비해야 한다는 차이도 짚었습니다.
워크플로는 모델을 불러오는 부분, 요청을 입력하는 부분, 결과를 저장하는 부분으로 나눠 보면 따라가기 쉽습니다. 왼쪽 Load Image 노드에 작업실 원본을 넣고, 프롬프트에는 문 안쪽에 파란 포털이 열리게 해 달라고 적었습니다. 길이는 프레임 수와 초당 프레임 수로 결정되며, 첫 시도는 81프레임, 초당 16프레임으로 약 5초였습니다. 실행이 끝나면 완료 메시지만 보지 말고 결과 파일을 직접 열어 봐야 합니다.
첫 시도의 실패와 마스크 합성
첫 결과에서 파란 포털은 생겼지만 문이 기울고 빛이 방 안쪽까지 크게 번졌습니다. 프롬프트에 카메라를 고정해 달라고 적었는데도 지켜지지 않았습니다. 방을 다시 그리게 하면 책상이나 문까지 바뀔 수 있으므로, 단테는 작업을 둘로 나눴습니다. 포털의 움직임을 만드는 작업과, 원본 방을 보존하는 합성 작업입니다.
두 번째 시도에서는 포털이 완성된 기준 이미지를 먼저 만들고, 안개와 가장자리 빛만 천천히 움직이게 했습니다. 모양은 훨씬 안정됐지만 방까지 완전히 고정되지는 않았습니다.
그래서 마스크를 썼습니다. 검은 화면에서 문 안쪽만 하얗게 칠한 이미지로, 흰 부분에는 생성 영상을, 검은 부분에는 원본 방을 남깁니다. ComfyUI의 Image Composite Masked 노드로 두 영상을 합쳐, 문틀 바깥을 다시 생성하지 않는 구조로 바꾼 것입니다.
효과는 수치로 확인했습니다. 같은 생성 영상에 대해 합성 전후를 비교하고, 문 주변을 제외한 방 영역의 픽셀을 첫 프레임과 비교했습니다. 평균 변화가 3.18에서 0.11로 줄었습니다. 압축된 영상이라 완전히 0은 아니지만 방이 흔들리는 문제는 크게 줄었습니다.
MCP로 Codex와 ComfyUI 연결하기
지금까지의 워크플로 검색, 저장, 실행은 MCP를 통해 호출했습니다. MCP는 에이전트가 외부 도구의 기능을 쓸 때 사용하는 연결 규약입니다. Codex가 요청을 해석하고 ComfyUI가 영상을 생성하는 구조이며, MCP 자체가 영상 모델이나 품질 검사기는 아닙니다.
Codex에서는 Comfy Cloud의 MCP 주소를 서버로 등록하고 로그인하면 됩니다. 설정 화면에서 Streamable HTTP 방식으로 같은 주소를 넣어도 됩니다. 연결한 뒤에는 서버 정보와 사용 가능한 도구가 실제로 나오는지 확인해야 합니다. Claude Code에서도 같은 서버를 등록한 뒤 /mcp에서 인증할 수 있고, Comfy가 제공하는 플러그인을 설치하는 방법도 있습니다. 영상에서는 Codex 연결까지 직접 확인했고, Claude Code 쪽은 공식 연결 방법을 소개하는 수준입니다. 자세한 절차는 Comfy MCP 공식 가이드(https://docs.comfy.org/agent-tools/mcp)에 있습니다.
연결 후 단테가 제안한 요청 예시는 다음과 같습니다.
이 이미지로 문 안에 포털이 열리는 영상을 만들고 방은 원본으로 보존해 줘. 먼저 짧게 시험하고 워크플로와 결과를 저장해 줘.
에이전트가 템플릿을 찾고 실행한 다음 결과 파일까지 받아야 작업이 끝납니다.
기본 하네스 위에 무엇을 더했나
하네스는 모델과 도구를 연결해 실행하고 결과를 다시 모델에 돌려주는 실행 틀입니다. 이 반복과 문맥 관리는 Codex가 이미 제공합니다. 단테가 이번에 추가한 것은 "문 안쪽"이라는 작업 범위와 "방이 움직였는지"를 확인하는 검사입니다. 빠른 피드백 원칙은 짧은 시험 영상으로 바꿨고, 결과 확인 도구도 에이전트가 직접 쓰게 했습니다. 접근 권한 제한 원칙은 작업에 필요한 도구와 파일 범위에 적용할 수 있지만, 영상 마스크는 합성 장치일 뿐 보안 권한을 대신하지는 않습니다.
비교의 엄밀함도 강조했습니다. 첫 영상과 두 번째 영상은 기준 이미지와 설정이 달라서 "하네스 덕분에 좋아졌다"고 묶어 말할 수 없습니다. 따로 확인한 것은 동일한 생성 영상에서 마스크 합성이 방의 변화를 얼마나 줄였는가뿐입니다. 이 밖에 ComfyUI에는 VACE처럼 영상의 특정 영역을 수정하는 다른 방식도 있고, 클라우드 생성에는 이용 조건과 크레딧이 있으며, MCP는 현재 베타라 도구 구성이 바뀔 수 있다는 점도 언급했습니다.
완성한 8초 장면은 방을 유지하면서 문 안쪽에만 포털을 열었고, 대신 보존 조건 때문에 방으로 퍼지는 빛은 제한했습니다.
정리
- 생성 영상에서 배경이 흔들리면 프롬프트를 고치기보다 생성과 보존을 분리하는 구조가 효과적입니다.
- 마스크 합성(Image Composite Masked)으로 방 영역의 평균 픽셀 변화가 3.18에서 0.11로 줄었습니다.
- MCP는 Codex가 ComfyUI 기능을 호출하게 하는 연결 규약이며, 연결 후 도구 목록이 실제로 보이는지 확인해야 합니다.
- 기본 하네스 위에 작업 범위와 결과 검사처럼 "내 작업에서 자주 실패하는 조건"을 확인 가능하게 더하는 것이 핵심입니다.
- 완료 메시지만 믿지 말고 파일 저장과 재생까지 직접 확인해야 합니다.