OpenAI Realtime API

OpenAI Realtime API란 무엇인가요?

The OpenAI Realtime API는 OpenAI 모델과의 통신에서 극도로 낮은 지연 시간을 가능하게 하도록 설계된 특수 인터페이스입니다. 이 API의 주요 강점은 연속적인 양방향 데이터 스트림을 처리하는 능력에 있으며, 이는 상호작용적이고 시간 제약이 있는 애플리케이션에 이상적입니다. 이 API는 음성-음성 변환 기능을 통합하고, 오디오, 이미지 및 텍스트의 복합 입력을 처리하며, 거의 실시간으로 오디오 또는 텍스트 출력을 생성할 수 있도록 복잡한 멀티모달 상호작용을 기본적으로 지원합니다.

이러한 기능은 브라우저에서 직접 고급 음성 에이전트를 구축하거나 실시간 오디오 전사 서비스를 통합하는 등 정교하고 반응성이 뛰어난 애플리케이션을 구축할 수 있는 길을 열어줍니다. 속도와 연속적인 데이터 흐름에 중점을 둠으로써, Realtime API는 기존의 요청/응답 모델을 넘어 진정한 대화형 및 몰입형 AI 경험을 위한 기반을 제공합니다.

주요 기능

• 저지연 통신: 자연스러운 음성 상호작용과 즉각적인 피드백 루프에 중요한 최소한의 지연을 위해 최적화되었습니다.
• 멀티모달 지원: 오디오, 이미지, 텍스트를 포함한 입력을 수신하고 오디오 및 텍스트 출력을 생성합니다.
• 음성-음성 기본 지원: 오디오 입력이 즉시 오디오 출력으로 변환되는 유연한 음성 에이전트 구축을 위해 특별히 설계되었습니다.
• 유연한 연결 방식: 다양한 배포 환경에 맞게 세 가지 주요 인터페이스를 지원합니다.
  • WebRTC: 웹 브라우저 내의 직접적인 클라이언트 측 상호작용에 이상적입니다.
  • WebSocket: 일관되고 낮은 지연 시간의 연결이 필요한 서버 측 애플리케이션에 가장 적합합니다.
  • SIP: 기존 VoIP 전화 시스템과의 통합을 위해 설계되었습니다.
• 실시간 오디오 전사: WebSocket 연결을 통해 수신되는 오디오 스트림을 실시간으로 전사하는 기능을 제공합니다.
• 서버 측 제어: 개발자가 세션 수명 주기를 관리하고, 가드레일을 구현하며, 서버에서 외부 도구를 호출할 수 있도록 합니다.
• 간소화된 인증: 보안 클라이언트 측 초기화를 위해 전용 REST 엔드포인트 (/v1/realtime/client_secrets)를 통해 생성된 임시 API 키를 사용합니다.

OpenAI Realtime API 사용 방법

Realtime API를 시작하는 것은 종종 브라우저 기반 음성 에이전트 구축을 위한 가장 빠른 경로를 제공하는 Agents SDK for TypeScript를 활용하는 것과 관련이 있습니다. 일반적인 워크플로는 연결 설정, 세션 관리, 그리고 모델과의 상호작용으로 이루어집니다.

1. 초기화: SDK를 사용하여 에이전트 매개변수(이름 및 지침 등)를 정의하거나 직접 연결을 준비합니다.
2. 연결 설정: 연결 방식(브라우저의 경우 WebRTC, 서버의 경우 WebSocket)을 선택합니다. WebRTC의 경우, REST 엔드포인트에서 얻은 임시 키를 사용하여 RealtimeSession을 초기화하는 것이 일반적입니다.
3. 세션 연결: session.connect()를 호출하여 마이크와 오디오 출력을 자동으로 연결하거나(음성 에이전트의 경우) 데이터 스트림을 설정합니다.
4. 상호작용: 연결되면, 프롬프팅, 대화 이벤트 관리 또는 서버 측 로직(도구 호출 등) 구현에 대한 제공된 가이드를 활용하여 모델의 동작을 제어합니다.

Agents SDK 외부에서 직접 통합하는 경우, 개발자는 세션 초기화 및 데이터 교환(예: WebRTC의 SDP 협상)을 처리하기 위해 WebRTC, WebSocket 또는 SIP 연결에 대한 특정 가이드를 참조해야 합니다.

사용 사례

1. 대화형 음성 비서: 웹 브라우저나 모바일 앱을 통해 직접 액세스할 수 있는 정교하고 자연스러운 대화형 에이전트를 구축하여 눈에 띄는 지연 없이 즉각적인 음성 응답을 제공합니다.
2. 실시간 고객 지원 봇: SIP 통합을 통해 라이브 음성 통화를 처리할 수 있는 AI 에이전트를 배포하여 즉각적인 분류, 정보 검색 또는 전화 통화 중 복잡한 거래 처리를 제공합니다.
3. 멀티모달 데이터 처리: 라이브 비디오 피드(이미지 입력 사용)와 음성 명령(오디오 입력)을 결합하여 복잡한 작업을 수행하는 애플리케이션을 생성합니다. 예를 들어, 사용자가 물리적 수리 과정을 안내하는 경우입니다.
4. 실시간 회의 전사 및 요약: 회의 중 실시간 오디오 전사를 위해 WebSocket 연결을 활용하여 즉각적인 인덱싱, 키워드 플래그 지정 또는 즉석 요약 생성을 가능하게 합니다.
5. 저지연 게임 NPC: 플레이어의 음성 명령이 게임 캐릭터로부터 즉각적이고 상황에 맞는 음성 응답을 유발해야 하는 실시간 상호작용 환경에서 AI 캐릭터를 통합합니다.

FAQ

Q: Realtime API와 표준 REST API 호출의 주요 차이점은 무엇인가요? A: 표준 REST API는 개별적인 요청/응답 작업을 위해 최적화되어 있습니다. Realtime API는 상호작용적인 음성 및 실시간 데이터 교환에 필요한 극도로 낮은 지연 시간을 우선시하는 연속적인 양방향 스트리밍 통신을 위해 구축되었습니다.

Q: 모바일 애플리케이션에서 Realtime API를 직접 사용할 수 있나요? A: 예. Agents SDK는 WebRTC를 통한 브라우저 사용에 중점을 두지만, 기본 Realtime API는 WebSocket 연결을 지원하며, 이는 백엔드 서버에서 필요한 임시 클라이언트 시크릿을 안전하게 얻은 후 네이티브 모바일 환경에서 구현될 수 있습니다.

Q: 클라이언트 측 WebRTC 연결에 대한 인증은 어떻게 처리하나요? A: 먼저 기본 API 키를 사용하여 서버 측 REST 엔드포인트(POST /v1/realtime/client_secrets)를 호출해야 합니다. 그러면 임시 토큰(ek_...)이 반환되며, 이는 WebRTC 또는 WebSocket 세션을 초기화하기 위해 클라이언트가 안전하게 사용합니다.

Q: OpenAI-Beta: realtime=v1 헤더는 어떻게 되었나요? A: 이 헤더는 이전 Realtime 베타 인터페이스의 동작을 의도적으로 유지하려는 경우에만 필요합니다. 일반 공급(GA) 인터페이스를 사용하는 새로운 통합의 경우, 이 헤더는 REST API 요청 및 WebSocket 연결에서 제거해야 합니다.

Q: 웹 애플리케이션에서 가장 낮은 지연 시간을 제공하는 연결 방식은 무엇인가요? A: 직접적인 브라우저 상호작용의 경우, WebRTC는 클라이언트와 모델 간의 가능한 가장 낮은 지연 시간을 달성하기 위해 Realtime API에서 제공하는 일반적으로 권장되고 가장 최적화된 연결 방식입니다.