위스퍼(Whisper)는 회의를 받아 적는 속기사 같은 것 — OpenAI가 만든 음성 인식 모델로, 오디오 속 말소리를 텍스트로 바꿔 주며 오픈소스와 API 두 방식으로 쓸 수 있어요.
위스퍼는 회의 내용을 그대로 받아 적는 속기사와 비슷해요. 녹음 파일을 건네면 사람이 한 말을 글자로 옮기고, 각 문장이 몇 초에 나왔는지도 함께 적어 줄 수 있어요. 이렇게 소리를 글로 바꾸는 기술을 음성 인식(STT)이라고 하는데, 위스퍼는 OpenAI가 공개한 대표적인 음성 인식 모델이에요.
강의에서는 자동 자막과 자동 컷 편집 프로그램을 만들 때 위스퍼를 써요. 영상에서 오디오를 뽑아 위스퍼로 대본을 만들고, 그 대본과 시간 정보를 바탕으로 자막을 붙이거나 말이 없는 구간을 잘라내요. 위스퍼는 오픈소스라서 내 컴퓨터에 설치해 무료로 돌릴 수도 있고, OpenAI API로 보내 처리할 수도 있어요. 강의에서는 GPU 없는 클라우드 가상 머신에서 CPU로만 전사하면 느리고 정확도가 떨어져서, 그 단계만 API로 바꿔 처리하는 모습을 보여 줘요. "Whisper로 자막을 자동 생성하려면?"에 대한 답은 클로드 코드에게 "위스퍼로 이 영상의 자막 파일(SRT)을 만들어 줘"라고 요청하고, 내 PC 사양에 따라 로컬과 API 중 하나를 고르는 거예요.
헷갈리기 쉬운 점은 "오픈소스 위스퍼"와 "위스퍼 API"가 같은 이름이라는 거예요. 로컬 실행은 사용료가 없지만 컴퓨터 성능을 많이 쓰고, API는 빠르고 간편하지만 사용량에 따라 비용이 들어요. 또 고유명사나 전문 용어는 틀리게 받아 적을 수 있으니, 자막을 올리기 전에 한 번 훑어보며 고치는 과정을 꼭 넣으세요.
AI 에이전트를 직접 만들고 24시간 운영하는 법을 단계별 강의로 배워보세요.