AI Agent 클로드코드 코덱스로 영상편집 자동화 하기
안녕하세요. 여러분의 AI/AX 파트너
자본주의생존법 대표 최gpt(최성훈)입니다.
영상 편집 노가다에 지친 분들
오늘 글 보시면 눈이 번쩍 뜨일 거예요 ^_^;;ㅋㅋ
오늘은 AI Agent(클로드코드·코덱스)로
영상편집을 자동화한 실제 과정을
구조·단계·검수 기준까지 통째로 정리해드릴게요.
내 기업과 서비스, 상품을 홍보하려면
영상은 계속 만들어야 하는데
영상편집은 하기 귀찮고
안하기에는 또 너무 리스크가 크고…
아마 저처럼 이런 상황 다들 겪고
계실겁니다. (들켰쥬?ㅋㅋ;;)
저는 AI 기업 적용 및 강의 전문가이자
AI 영상 전문가로 일하고 있는데요.
촬영이 끝나면 파일을 노트북으로
옮기고, 파일정리하고 영상편집 한뒤
업로드까지 했어야 했습니다.
(이 일련의 과정이 아주 고통쓰으..ㅠ)
짧은 영상 한 편인데도,
확인할 항목이 계속 생기더라고요.
직접 캡컷 타임라인을 열어 보면
20초 영상에도 자막과 화면 자료,
음원과 효과가 여러 줄로 쌓입니다.
영상이 짧다고 해서
편집까지 금방 되는건 아니었죠..ㅠ
(이거 진짜 킹받는 상황이죠 ㅠ)
그런데 더 큰 문제는
편집 속도만이 아니었어요.
사람이 매번 같은 판단을 반복하니
결과물의 퀄리티도 점점 떨어졌어요..ㅠ
어떤 날은 헤더 카피가 잘 안써졌고,
어떤 날은 자막 검수가 잘 되지 않았습니다..ㅠ
문제는 편집 기술보다
너무나도 노가다 같은
반복 작업이었습니다…
그래서 AI Agent를 활용해
업무 전체를 다시 설계했습니다.
클로드코드(Claude Code)에는
제가 원하는 결과를 이야기 했고
판단 기준을 자연어로 설명했습니다.
혹시 몰라 코덱스(Codex)와 함께
구조를 점검했습니다.
목표는 거창하지 않았습니다.
원본 영상을 건네고
이 영상 편집해 줘라고 말하면,
초안 파일이 나오게 하는 것이었죠.
처음에는 저도
과연 가능할까 싶었습니다.
근데 지켜보니
LLM이 영상을 사람처럼 보는 대신
음성을 읽고 장면 정보를 분석해
편집 결정을 데이터로
바꾸는 방식으로 작업하고 있었습니다.
(작업하는 모습을 보는데 너무 신기방기+_+)
YouTube Studio에서 확인한 결과
최근 저에 ‘최gpt | AI 바이브코딩·자동화 연구자’
유튜브 채널은
지난 28일 조회수 6,444회,
시청 시간 14.2시간을 기록했습니다.
구독자도 같은 기간 17명 늘었고,
실시간 구독자는 30명이 됐죠.
최근 48시간 조회수는
2,591회로 확인 됐습니다.
(자동화 전 반응도 체크)
(실제 영상편집자동화로 만든 숏폼영상↑)
모든 영상이 터진 것은 아니지만,
제작 횟수를 늘리고 반응을 비교할
기반은 분명히 생겼습니다.
(실제로 아가리 꽉물고 1일1쇼츠를
하니 구독자와 조회수가 많이 늘었다)
AI Agent는 한 번의 마법이 아니라,
이처럼 각자의 반복작업을 줄여주는
도구 입니다.
이 글에서는 클로드코드로
편집 기준을 전달한 방법
영상편집 자동화 구조와 실제 단계,
그리고 게시 전 검수 기준을 모두 다룹니다.
AI Agent는 영상을 보지 않고 어떻게 편집할까요?
영상편집 자동화를 이해하려면
먼저 역할을 나눠야 합니다.
AI Agent 하나가 모든 일을
혼자 처리하는 구조는 아니었어요.
클로드코드는 제가 말한 요구를
작업 순서와 코드로 바꾸고,
각 도구가 결과를 이어받게 했습니다.
코덱스는 구현 내용을 검토하고
빠진 조건을 보완하는 데 활용했습니다.
1) 오케스트레이션 (Orchestration)
AI Agent는 감독 역할입니다.
어떤 도구를 언제 실행할지 정하고,
중간 결과가 맞는지 확인합니다.
원본 폴더를 입력받은 뒤
음성 인식과 컷 분석을 호출하고,
마지막에는 렌더링까지 연결합니다.
감독 – 전체 작업 순서 관리
전사기 – 음성을 글로 변환
편집기 – 컷과 자막 배치
렌더링 – 최종 영상 파일 생성
2) 전사 (Transcription)
영상 파일 전체를 LLM에 넘기면
비용과 처리량이 크게 늘어납니다.
제가 만든 구조에서는 먼저
음성을 텍스트 대본으로 바꿨습니다.
자료 화면에는 한글 음성 51.8초를
11.8초에 전사한 결과가 나옵니다.
104단어와 타임스탬프를 얻고,
한글 정확도까지 확인했습니다.
이 대본에 시간 정보가 있으니
강조 문장과 침묵 구간을 찾아,
컷 위치를 계산할 수 있었습니다.
영상 프레임을 모두 읽는 대신
시간표가 붙은 대본을 읽게 했습니다.
3) 편집 규칙 (Editing Rules)
자동 편집의 품질은
프롬프트 길이보다 규칙에 달렸습니다.
첫 3초에 후킹 문장을 놓고,
한 자막의 길이를 제한했습니다.
침묵을 줄이되 말끝은 살리고,
화면 전환 직전에는 짧은 여백을 뒀습니다.
좋은 예: 핵심 문장을 먼저 제시 (O)
나쁜 예: 긴 인사 뒤 본론 시작 (X)
자막 – 대본과 시간표로 생성
점프 컷 – 침묵과 반복 표현 제거
화면 자료 – 의미가 맞는 구간에 삽입
음량 – 최종 출력 기준으로 정규화
4) 검증 (Validation)
자동으로 파일이 나왔다고 해서
바로 게시하면 안 됩니다.
실제 결과에는 4컷 편집과
25.8초 렌더 과정이 기록됐고,
컷마다 30밀리초 오디오 페이드가
적용됐습니다.
한글 자막은 단순히 이어 붙이지 않고
문장 경계에 맞춰 정렬했습니다.
라운드니스는 영상을 일정하게 듣도록
영업용 기준인 영하 14 LUFS로 맞췄습니다.
화면 자료 속 구현 기록에는
백엔드로 video-use,
전사기로 faster-whisper가 보입니다.
진입점은 영상 편집 스킬이고,
긴 영상 무음 프리스캔과
검색 노출용 문구도 부속 기능입니다.
클로드코드 기반 자동화
= 도구 연결과 편집 기준
결국 AI Agent는 저희가 반복적으로
하는 일을 정형화 하고 규칙화하여
빠르게 처리해주는 조수 역활을 담당합니다.
영상편집 자동화는 단순한 버튼이 아니라
사람의 편집 판단을 재사용 가능한
규칙으로 옮기는 작업입니다.
클로드코드·코덱스로 실제 자동 편집을 만든 과정
이제 실제로 어떻게 하는지
단계별로 정리해 드릴게요.
저는 클로드코드에 먼저
영상 편집 자동화를 만들고 싶다고 적었습니다.
좋아 보이는 사례를 조사하고,
제가 가진 영상으로 검증하며,
중간마다 허락을 구하도록 요청했습니다.
1) 목표 – 완성 파일부터 정의하라.
첫 요청에서 기술 이름보다
원하는 결과를 먼저 말했습니다.
원본 영상 폴더를 전달하면
최종 결과가 final.mp4로 나오고,
프리셋 메뉴 없이 작동하게 했습니다.
입력 폴더와 출력 파일 이름을
가장 먼저 고정했습니다.
좋은 예: 폴더를 넣으면 final.mp4 생성 (O)
나쁜 예: 알아서 멋지게 편집해 줘 (X)
1) 입력 파일 형식 확인
2) 세로 영상 비율 지정
3) 출력 이름과 저장 위치 지정
(결과부터 정하면 대화가 훨씬 짧아집니다)
2) 역할 – 도구별 책임을 분리하라.
클로드코드가 모든 기능을
새로 만들게 하지는 않았습니다.
검증된 오픈소스와 로컬 전사기,
FFmpeg 렌더링을 연결하게 했습니다.
ElevenLabs 키가 없을 때는
전사 결과 JSON을 직접 사용하도록,
오픈소스 구조도 보완했습니다.
이 덕분에 초기 실행은
API 키 0개와 비용 0원으로 가능했습니다.
한 도구의 실패가 전체 중단으로
이어지지 않게 대체 경로를 만들면 좋습니다.
전사 실패 – 로컬 어댑터 확인
키 없음 – 전사 JSON 재사용
렌더 실패 – FFmpeg 설치 상태 확인
자료에는 Homebrew FFmpeg 8에서
자막 필터가 빠진 문제도 기록돼 있습니다.
저도 처음에는 코드 오류인 줄 알았지만,
실제 원인은 설치된 빌드였습니다.
(자동화도 결국 환경 설정이 중요합니다.)
3) 초안 – 첫 3초를 비교하라
AI Agent가 만든 후킹 문장도
한 번에 확정하지 않았습니다.
반전형과 실증형,
스토리형 세 후보를 비교했습니다.
최종 선택은 터미널 반전형이었고,
기존 쇼츠 2편과 다른 구조인지도 확인했습니다.
1) 타깃의 두려움을 바로 언급
2) 예상과 반대되는 문장 배치
3) 실제 화면으로 주장을 증명
클로드코드는 초안을 렌더한 뒤
셀프 검수까지 진행했습니다.
영상 한 편은 44.9초로 만들어졌고,
100개 포인트와 23개 스파이크를
기준으로 리텐션도 분석했습니다.
첫 3초는 감으로 고르지 말고
후보 3개를 정해서 저에게
확인시켜달라고 했습니다.
4)화면 – 편집 결과를 눈으로 검수하라
캡컷 프로젝트에서는
9대16 세로 화면과 30fps,
20초 타임라인을 확인했습니다.
자막과 화면 자료가 겹치지 않는지,
인물의 얼굴이 가려지지 않는지,
컷마다 소리가 튀지 않는지 직접 봤습니다.
또 다른 자동화에서는
히어로 영상을 생성하고,
웹 화면에서 무한 반복 상태까지 확인했습니다.
글자 높이는 발행본과 비교해
약 100픽셀에 맞췄습니다.
처음 만든 약 120픽셀 버전은
얼굴을 가려서 탈락시켰고,
최종 수치는 104로 고정했습니다.
좋은 예: 발행본 크기와 나란히 비교 (O)
나쁜 예: 미리보기 한 장만 보고 확정 (X)
5)반복 – 기준이 정해졌다면 반복작업 실행
한 편에서 찾은 수정 사항은
다음 편의 스타일 기준으로 옮겼습니다.
후킹 구조와 자막 크기,
오디오 음량과 저장 위치를 기록하니,
두 번째 작업부터 수정 횟수가 줄었습니다.
클로드코드와 코덱스를 함께 쓸 때도
한쪽은 구현하고 다른 쪽은 검토하게 하면,
누락된 조건을 찾기 쉬웠습니다.
AI Agent의 성능은 기억력이 아니라
기록된 기준을 토대로 고도화 하는데 있습니다.
자동 편집 파일, 바로 올려도 괜찮을까요?
자동 편집 완성 = 렌더링 성공 + 사람의 최종 영상 검수
사람이 마지막 판단을 해야 합니다.
자동 편집 완성 = 렌더링 성공과 영상 검수
저는 AI Agent가 만든 결과를
다음 순서로 다시 확인합니다.
1) 첫 3초 후킹
소리 없이 봐도
주제가 바로 이해되나요?
첫 문장이 타깃의 질문이나
손해를 정확히 건드리나요?
인사말 때문에 핵심 장면이
뒤로 밀리지 않았는지도 봅니다.
2) 자막 가독성
한 화면의 자막이 너무 길거나
인물의 눈과 입을 가리지 않나요?
자막 높이와 줄바꿈을
기존 발행본과 비교했나요?
특히 약 120픽셀처럼
화면에서는 커 보이는 수치도,
발행 환경에서는 다를 수 있습니다.
3) 컷과 오디오
문장 중간이 잘리거나
호흡이 급하게 붙지 않았나요?
배경음이 목소리를 덮지 않고,
컷 경계에서 소리가 튀지 않나요?
30밀리초 페이드와
영하 14 LUFS 같은 수치는,
최종 청취로 한 번 더 확인합니다.
4) 화면 자료의 맥락
자료 화면이 말의 의미와
정확한 시점에 등장하나요?
숫자를 주장했다면
해당 분석 화면이 바로 이어지나요?
장식용 화면을 늘리기보다
주장을 증명하는 캡처만 남깁니다.
5) 출력 파일과 저장 위치
세로 비율이 9대16인지,
해상도와 프레임이 맞는지 봅니다.
final.mp4가 약속한 폴더에 있고,
원본을 덮어쓰지 않았는지도 확인합니다.
한글 파일명과 긴 경로는
렌더 전에 짧게 정리하면 안전합니다.
6) 성과 기록
게시한 뒤 48시간 조회수와
평균 시청 지속 시간을 적어 둡니다.
YouTube Studio에서
조회수와 시청 시간,
구독자 변화를 함께 비교합니다.
조회수만 높은 영상과
구독 전환이 높은 영상은 다르니,
후킹 문장도 따로 기록해야 합니다.
제가 이번 작업에서 배운 점은
AI가 편집자를 없애는 게 아니었습니다.
반복 작업은 시스템에 맡기고,
사람은 기획과 최종 판단에 집중하는 것.
그렇게 해야 제작 횟수와 품질을
함께 끌어올릴 수 있었습니다.
클로드코드는 자연어 요구를
실행 구조로 옮기는 데 유용했고,
코덱스는 빠진 조건을 확인하며
자동화의 완성도를 높여 줬습니다.
오늘 설명드렸던 ‘AI Agent 클로드코드,
코덱스로 영상편집 자동화 하기’는
아래 오픈소스를 공개하니
(아래 사진을 클릭하면 바로
github 링크로 이동됩니다 ↓)
👉 오픈소스 GitHub 저장소 바로가기 (github.com/choigpt-ai/retention-shorts)
롱폼 영상을 자주 숏폼영상으로 편집하는
편집자라면, 시간이 없는 자영업자, 1인사업자
라면 꼭 써보길 바랍니다.
서울 강남에서 AI 기업 적용 및 강의를 하며
AI 영상 전문가로 활동하는 최gpt,
앞으로도 좋은 정보 많이 전달하겠습니다.
지금까지 여러분의 AI/AX파트너
자본주의생존법 대표 최gpt(최성훈)이었습니다 🙂
위 내용에 대해 궁금하신 내용이나
잘 이해가 안 되거나 질문이 있으시면
언제든지 편하게 카카오 채널
‘자본주의생존법’ 을 추가하시고
연락 주세요.
친절히 답변드리겠습니다.
그리고 혼자 AI 공부하기 싫으시면
매달 AI레벨업 프로그램을 운영하니
아래 AI공부방 함께하기에서 확인하고
지원하세요.
