립싱크 (Lip Sync)는 더빙 성우의 목소리에 배우 입 모양을 맞추는 일 같은 것 — 영상 속 인물의 입 움직임을 음성과 맞추는 것으로, AI 영상에서는 음성에 맞춰 입 모양을 자동 생성하는 기술을 말합니다.
립싱크는 외국 영화를 더빙할 때 성우의 목소리와 배우의 입 모양을 자연스럽게 맞추는 작업과 비슷합니다. 소리와 입 모양이 어긋나면 보는 사람은 바로 어색함을 느낍니다. 원래는 가수가 녹음된 노래에 맞춰 입만 움직이는 것을 뜻했지만, 요즘 AI 영상에서는 사진이나 영상 속 인물이 주어진 음성에 맞춰 말하는 것처럼 입 모양을 만들어 주는 기술을 가리키는 경우가 많습니다.
1인 크리에이터는 직접 얼굴을 매번 촬영하기 어려울 때 립싱크 AI를 활용합니다. 대본을 TTS로 음성으로 만들고, 아바타나 캐릭터 이미지에 그 음성을 입혀 말하는 영상을 만드는 식입니다. 강의 영상을 다른 언어로 바꿀 때 번역 음성에 맞춰 입 모양을 다시 맞추는 용도로도 쓰입니다. 영상 자동화 흐름에서는 대본 → 음성 → 립싱크 → 자막 → 렌더링 순서로 들어가는 경우가 많습니다.
주의할 점은 실제 사람의 얼굴로 립싱크 영상을 만들 때입니다. 본인이 아닌 사람의 얼굴과 목소리를 허락 없이 쓰면 초상권·명예 문제가 생길 수 있고, 플랫폼에 따라 AI 생성 콘텐츠 표시를 요구하기도 합니다. 또 음성이 빠르거나 옆모습이 많은 영상은 결과가 어색해지기 쉬우니, 정면 이미지와 또렷한 음성으로 먼저 시험해 보는 것이 좋습니다.
주제만 정하면 대본·음성·자막·렌더링까지 AI 에이전트에게 맡기는 법을 강의에서 배워보세요.