AssemblyAI

AssemblyAI란?

AssemblyAI는 음성 오디오를 텍스트로 변환하고 음성 데이터에서 인사이트를 추출하는 Speech AI 모델을 제공합니다. 웹사이트는 스트리밍 음성-텍스트 기능을 강조하며, 단순 전사 이상을 포착하도록 설계된 모델 프롬프트/구성을 소개합니다—예: 말더듬, 화자 역할, 주요 용어, 오디오 태깅 신호, 코드 스위칭 등.

이 제품은 음성 에이전트 포함 음성 애플리케이션을 구축하는 팀을 위해 위치づけ되었습니다. 사이트는 실시간 전사 및 LiveKit SDK 같은 문서 리소스를 참조하여 개발자들이 음성 워크플로에 음성 처리를 통합할 수 있도록 돕습니다.

주요 기능

• 실시간 음성 에이전트를 위한 스트리밍 음성-텍스트: 음성이 생성됨에 따라 연속 전사하도록 설계되어 배치 처리만이 아닌 음성 에이전트 워크플로를 지원합니다.
• 맥락 인식 프롬프팅: 프롬프트로 약물 용량 정확도 같은 세부 사항을 보존하고 특정 전사 요소(예: 채움어, 반복, 재시작, 말더듬, 비공식 언어)를 포함할 수 있습니다.
• 말더듬 포착(말의 “망설임” 및 중단): 예시에서 채움어(예: “um,” “uh”), 반복, 재시작, 말더듬을 유지한 전사를 생성하여 대화 또는 임상 스타일 분석에 사용합니다.
• 비음성 이벤트 오디오 태깅: 프롬프트로 시스템 사운드(예: “beep”) 같은 이벤트 태그를 요청하여 중요한 비언어적 또는 신호 정보를 보존합니다.
• 화자 역할 라벨링: 프롬프트로 각 화자 턴에 역할(예: “NURSE,” “PATIENT”)을 라벨링하여 다중 화자 대화를 구조화합니다.
• 주요 용어 추출/철자 제어: 사이트에서 주요 용어(예: “Kelly Byrne-Donoghue” 같은 고유명사 철자)를 프롬프트로 처리하는 예시를 포함합니다.
• 언어 감지 및 코드 스위칭 지원: 예시에서 화자가 영어와 스페인어 사이를 전환할 때 언어를 그대로 보존합니다.

AssemblyAI 사용 방법

1. 음성 워크플로 선택 예: 실시간 전사 또는 음성 에이전트 흐름(사이트에서 실시간 전사 문서 및 LiveKit SDK 참조).
2. 전사 출력 형식 선택: 단순 텍스트, 또는 말더듬, 비음성 오디오 태그, 화자 역할, 주요 용어, 코드 스위칭을 포함한 구조화 출력.
3. 프롬프트/구성 예시 사용 사용 사례에 맞는 전사 형식 및 세부 수준 요청(예: 약물 중심 임상 이력 vs. 대화 분석).

사용 사례

• 상세 발화 행동 포함 음성 에이전트 대화 전사: 채움어, 반복, 재시작, 말더듬을 포함한 전사로 후속 대화 분석.
• 약물 세부 사항 보존 임상 이력 스타일 전사: 약물 이름과 용량을 정확히 포착하고 말더듬을 의미 있는 데이터로 유지한 전사 생성.
• 오디오 이벤트 태깅 포함 통화 또는 IVR 전사: 시스템 프롬프트나 삐 소리 같은 비음성 이벤트 태그 포함으로 오디오 신호 반영.
• 역할 부여 다중 화자 인터뷰: 각 턴에 화자 역할(예: 간호사 vs. 환자) 라벨링으로 검토 또는 문서화용 전사 구조화.
• 문장 중 언어 전환 양어문 대화: 영어/스페인어 코드 스위칭 시 자연 언어 패턴 보존 대신 하나의 언어로 정규화하지 않음.

자주 묻는 질문

• AssemblyAI가 음성 에이전트를 위한 실시간 전사를 지원하나요? 사이트에서 음성 에이전트 워크플로를 위한 스트리밍 음성-텍스트를 강조하고 “실시간 전사” 리소스를 참조합니다.

• 전사가 단순 텍스트 이상을 포함할 수 있나요? 네. 예시에서 말더듬, 비음성 오디오 태그, 고유명사/주요 용어 처리, 화자 역할 라벨링, 코드 스위칭 보존을 요청하는 프롬프트를 보여줍니다.

• 전사에서 말더듬은 어떻게 처리되나요? 웹사이트에서 프롬프트가 모델에 채움어, 반복, 재시작, 말더듬을 전사에 포함하도록 지시하는 예시를 보여줍니다.

• 출력에 화자 역할을 포함할 수 있나요? 사이트에서 화자 턴에 역할(예: “Speaker [Nurse],” “Speaker [Patient]”) 라벨링을 요청하는 예시를 포함합니다.

• 언어 감지 및 코드 스위칭을 지원하나요? 사이트에서 언어 감지 및 자연 영어/스페인어 코드 스위칭 보존을 나타내는 예시를 포함합니다.

대안

• 다른 클라우드 제공업체의 음성-텍스트 API: 일반적으로 스트리밍 전사와 화자 구분 같은 기능을 제공하지만, 불연속성 보존, 오디오 이벤트 태그, 또는 구조화된 프롬프트 기반 출력의 신뢰성에서 차이가 있을 수 있습니다.
• 오픈소스 음성 인식 툴킷: 자체 호스팅 전사를 원할 때 유용하지만, AssemblyAI 사이트에 표시된 프롬프트 기반 포맷팅(불연속성, 화자 역할, 코드 스위칭 보존)을 재현하려면 추가 작업이 필요할 수 있습니다.
• 내장 전사 기능이 있는 음성 에이전트 플랫폼: 일부 플랫폼은 에이전트 프레임워크에 전사를 직접 통합합니다. 전사 포맷팅의 구성 가능성과 동일한 전사 요소(예: 불연속성 및 태깅) 지원 여부를 비교하세요.
• 범용 오디오-텍스트 파이프라인(배치 전사 도구): 녹음/배치 파일에 더 적합한 경우가 많습니다. AssemblyAI에서 강조된 실시간 음성 에이전트 사용 사례에는 다른 도구가 필요할 수 있습니다.