Reference → Claude → Blender → AI video → Claude

블렌더로 뼈대 잡고, 실사는 AI가 입히기

레퍼런스 영상과 구도·동작이 똑같은 실사 숏폼을 만드는 순서예요. 사람은 영상을 고르고 마지막에 확인만 해요.

레퍼런스따라 할 영상 고르기
클로드뜯어보고 설계
블렌더3D 뼈대 영상
실사 입히기Flow·힉스필드 등
클로드자르고 다듬기

왜 블렌더를 끼우나요?

AI 영상 도구에 글만 넣으면 뽑을 때마다 키, 앉은 자리, 보는 방향, 가게 모양이 바뀌어요. 블렌더로 공간과 인물 위치, 움직임을 먼저 고정해 두면 AI는 겉모습만 실사로 바꾸면 돼서 매번 같은 장면이 나와요.

1

레퍼런스 영상 고르기

사람

  • 따라 하고 싶은 릴스 하나를 고른다. 예: 성수동 카페 벽 보고 앉기
  • 무엇을 바꿀지 한 줄로 정한다. 예: "원래 남자 자리에 장필봉. 처음부터 끝까지 당당하게 벽 보기."
2

클로드가 뜯어보고 설계하기

클로드

  • 원본에서 처음·중간·끝 장면을 캡처한다.
  • 카메라 높이와 각도(정면인지 대각선인지), 벽·기둥·턱·의자 위치, 인물이 어디서 언제 움직이는지 적는다.
  • 이걸 블렌더가 그대로 따라 만드는 파이썬 코드로 쓴다.

나오는 것: 장면 설계표, 블렌더 코드 scene.py

3

블렌더로 뼈대 영상 굽기

블렌더 (클로드가 코드로 돌림)

  • 단순한 3D 공간과 인형을 만든다. 얼굴이나 옷은 대충 덩어리면 충분하다.
  • 카메라를 원본과 같은 자리와 각도에 둔다.
  • 원본과 나란히 놓은 비교 이미지로 구도를 맞춘다. 다른 곳이 있으면 고쳐서 다시 굽는다.
  • 구도가 맞으면 움직임까지 들어간 세로 영상을 굽는다.

나오는 것: 비교 이미지, 뼈대 영상 blockout.mp4

4

실사 입히기

AI 영상 도구 (Flow, 힉스필드, 드리미나 등 영상을 넣을 수 있는 것)

  • 뼈대 영상을 넣고, 인물 사진(캐릭터 시트)과 배경 사진을 함께 넣는다.
  • 글은 짧게. 무엇이 실사로 바뀌는지만 쓴다. 예: "콘크리트 카페, 민트 수트를 입은 거구의 남자, 자연광"
  • 영화 제목·배우 이름은 쓰지 않는다. 쓰면 막힌다.

우리가 해 본 방식: 드리미나 Seedance 2.0 Mini의 옴니 레퍼런스에 뼈대 영상 1개와 인물 사진 2장을 넣었어요.

5

클로드가 다시 다듬기

클로드 → 마지막 확인은 사람

  • 나온 영상의 처음·중간·끝을 보고, 얼굴·몸 비율이나 갑자기 사람이 나타나는 곳을 잡는다.
  • 긴 영상을 짧게 잘라 여러 번 배치한다(아래 그림).
  • 위쪽 제목 한 줄, 자막, 음악, 커버를 얹고 업로드 버튼 직전까지 올려 둔다.

컷은 짧게, 잘라서 여러 번

한 번에 길게 뽑은 영상을 그대로 쓰면 늘어져요. 같은 영상에서 잘라 쓰면 장소와 인물이 바뀌지 않으면서 리듬이 빨라져요.

한 컷 8초 그대로 · 늘어짐
와이드얼굴여자 등장눈치장필봉고쳐 앉기둘 다 벽

한 컷 1.2~2.5초. 같은 원본에서 넓게 찍은 부분과 확대한 부분을 번갈아 쓴다.

해 보며 알게 된 것