AI 에이전트 →

위스퍼(Whisper)OpenAI Whisper

위스퍼(Whisper)는 회의를 받아 적는 속기사 같은 것 — OpenAI가 만든 음성 인식 모델로, 오디오 속 말소리를 텍스트로 바꿔 주며 오픈소스와 API 두 방식으로 쓸 수 있어요.

위스퍼는 회의 내용을 그대로 받아 적는 속기사와 비슷해요. 녹음 파일을 건네면 사람이 한 말을 글자로 옮기고, 각 문장이 몇 초에 나왔는지도 함께 적어 줄 수 있어요. 이렇게 소리를 글로 바꾸는 기술을 음성 인식(STT)이라고 하는데, 위스퍼는 OpenAI가 공개한 대표적인 음성 인식 모델이에요.

강의에서는 자동 자막과 자동 컷 편집 프로그램을 만들 때 위스퍼를 써요. 영상에서 오디오를 뽑아 위스퍼로 대본을 만들고, 그 대본과 시간 정보를 바탕으로 자막을 붙이거나 말이 없는 구간을 잘라내요. 위스퍼는 오픈소스라서 내 컴퓨터에 설치해 무료로 돌릴 수도 있고, OpenAI API로 보내 처리할 수도 있어요. 강의에서는 GPU 없는 클라우드 가상 머신에서 CPU로만 전사하면 느리고 정확도가 떨어져서, 그 단계만 API로 바꿔 처리하는 모습을 보여 줘요. "Whisper로 자막을 자동 생성하려면?"에 대한 답은 클로드 코드에게 "위스퍼로 이 영상의 자막 파일(SRT)을 만들어 줘"라고 요청하고, 내 PC 사양에 따라 로컬과 API 중 하나를 고르는 거예요.

헷갈리기 쉬운 점은 "오픈소스 위스퍼"와 "위스퍼 API"가 같은 이름이라는 거예요. 로컬 실행은 사용료가 없지만 컴퓨터 성능을 많이 쓰고, API는 빠르고 간편하지만 사용량에 따라 비용이 들어요. 또 고유명사나 전문 용어는 틀리게 받아 적을 수 있으니, 자막을 올리기 전에 한 번 훑어보며 고치는 과정을 꼭 넣으세요.

💡 대표 예시

  • 자동 자막 — 영상 오디오를 위스퍼로 전사해 SRT 자막 파일을 만든다
  • 컷 편집 — 위스퍼가 준 시간 정보로 말이 없는 구간을 잘라낸다
  • API 전환 — GPU 없는 VM에서 느려 전사 단계만 위스퍼 API로 바꾼다
  • 검수 — 브랜드명이 틀리게 적힌 자막을 올리기 전에 고친다

🔗 관련 용어

이 개념, 직접 적용해볼까요?

AI 에이전트를 직접 만들고 24시간 운영하는 법을 단계별 강의로 배워보세요.