Reka Edge

Reka Edge란?

Reka Edge는 실시간 시각 이해와 에이전트 오케스트레이션을 위한 로컬 배포 가능한 멀티모달 AI 모델 및 플랫폼입니다. NVIDIA Jetson급 설정을 포함한 엣지 하드웨어에서 실행되도록 설계되어, 애플리케이션이 낮은 지연으로 비디오 스트림을 처리하고 객체 바운딩 박스 및 콘텐츠 하이라이트 같은 구조화된 출력을 생성할 수 있습니다.

이 제품은 속도와 신뢰성이 중요한 프로덕션 환경에 적합하며—특히 로보틱스, 실시간 감시, 세계와 지속적으로 상호작용하는 물리적 에이전트 시스템 같은 시나리오에 최적화되어 있습니다.

주요 기능

• 로컬 엣지 배포 (로컬 실행 + API 액세스): 클라우드 추론 없이 운영되도록 설계되어 실시간 워크플로를 지원합니다.
• 실시간 비디오 분석: 비디오 스트림에서 직접 객체 탐지 및 장면 이해 같은 작업을 수행합니다.
• 바운딩 박스를 통한 정밀 공간 grounding: 도구, 대상 객체, 장애물에 대한 바운딩 박스를 생성하여 공간적 의사결정을 지원합니다 (예: “10mm 렌치” 식별).
• 미디어/콘텐츠 하이라이트 생성: 시각 미디어와 콘텐츠에서 하이라이트를 생성합니다.
• 도구 사용 프레임워크를 활용한 멀티모달 에이전트 오케스트레이션: 시각적 맥락을 하드웨어/소프트웨어 작업에 매핑하여 다단계 작업을 조정합니다 (예: 로봇 하드웨어 API 호출로 제어).

Reka Edge 사용 방법

1. 실행 방식을 선택하세요: 애플리케이션 환경에 따라 모델을 로컬에 배포하거나 API를 통해 호출합니다.
2. 비디오 입력 제공: 모델에 비디오 데이터를 스트리밍하여 지속적인 시각 처리를 수행합니다.
3. 공간적으로 grounding된 출력 요청: 장면 내 객체를 참조하는 프롬프트를 사용하여 도구/대상/장애물에 대한 바운딩 박스를 가져옵니다.
4. 오케스트레이션을 제어 로직에 연결: 엣지 에이전트(예: 로보틱스)를 사용할 때 모델의 도구 사용 출력을 하드웨어 API로 라우팅하여 다단계 작업을 실행합니다.
5. 프로덕션 동작을 위한 반복: 대상 환경(엣지 컴퓨트 vs. 기타 배포 대상)에서 지연 및 출력 형식을 검증합니다.

사용 사례

• 로보틱스: 도구 위치 파악 및 그리핑 계획 로봇의 스테레오 카메라가 고프레임 비디오를 엣지 컴퓨트로 스트리밍합니다. Reka Edge는 요청된 도구에 대한 바운딩 박스를 추출하고 조작을 위한 다단계 도구 사용 작업을 지원합니다.

• 로보틱스: 혼잡한 작업 공간에서의 장면 이해 비구조화된 환경에서 모델이 실시간으로 관련 객체와 장애물을 식별하여 탐색 및 상호작용을 위한 더 빠르고 좌표 기반 의사결정을 가능하게 합니다.

• 실시간 감시: 객체 탐지 및 장면 이해 엣지 하드웨어에 배포하여 비디오 피드를 지속적으로 해석하고 다운스트림 모니터링 워크플로에 적합한 구조화된 시각 이해 출력을 생성합니다.

• 자동차 (차량 내): 프라이버시 우선 캐빈 비디오 이해 대시보드/스티어링 컬럼/뒷좌석 모니터 등 다중 카메라 피드를 사용해 차량 컴퓨트에서 오프라인 실행되며, 대화형이고 맥락 인식 캐빈 상호작용을 지원합니다.

• 자동차 (차량 내): 대화형 시간적 쿼리 및 에이전트 제어 Reka Edge는 프레임 시퀀스를 평가하여 전개되는 이벤트를 해석합니다 (예: 운전자가 상점 간판을 가리키며 “저 가게는 언제 문 닫아?”). 관련 알림 및 인포테인먼트 작업을 트리거하면서 작업을 라우팅할 수 있습니다.

자주 묻는 질문

Q: Reka Edge는 클라우드용으로 설계되었나요, 아니면 엣지 배포용인가요?
A: 이 페이지는 엣지 우선 사용을 설명하며, 로컬 실행과 클라우드 지연을 피하기 위한 엣지 컴퓨팅에서의 영상 처리를 포함합니다.

Q: Reka Edge는 어떤 종류의 입력을 처리하나요?
A: 설명된 워크플로는 객체 탐지, 장면 이해, 미디어/콘텐츠 하이라이트 생성을 위한 비디오 스트림에 중점을 둡니다. 로보틱스/자동차 시나리오에서는 스테레오 카메라나 여러 차량 카메라의 데이터를 입력으로 사용합니다.

Q: 공간 작업에 대해 어떤 출력을 생성하나요?
A: 물리적 에이전트 워크플로우에서 도구, 목표 객체, 장애물에 대한 정밀 바운딩 박스를 추출하며, 대화형 지시(예: 시야 내 특정 도구 식별)를 지원합니다.

Q: 시각을 행동과 어떻게 연결하나요?
A: 페이지는 멀티모달 에이전트 오케스트레이션이 하드웨어 API(로보틱 제어)를 호출하거나 관련 차량 시스템(ADAS 알림 및 인포테인먼트 API)으로 작업을 라우팅하는 도구 사용 프레임워크를 설명합니다.

Q: 모델 크기나 아키텍처 세부 사항을 언급하나요?
A: 네. Reka Edge 2는 660M 파라미터 ConvNeXT V2 비전 인코더, 6B 파라미터 언어 백본, 총 7B 파라미터를 사용한다고 명시합니다.

대안

• 클라우드 호스팅 멀티모달 VLM (API 기반)
  강력한 시각 기능을 제공할 수 있지만, 일반적으로 네트워크 지연이 발생하며 초당 이하의 상시 엣지 제어 루프에 덜 적합합니다.

• 별도 탐지기 + 추적기를 사용한 엣지 최적화 비전 파이프라인
  통합 멀티모달 모델 대신 전용 객체 탐지기와 추적 시스템을 조합할 수 있습니다. 대화적 grounding과 에이전트 오케스트레이션을 달성하려면 더 많은 맞춤 엔지니어링이 필요합니다.

• 다른 엣지 지원 비전-언어 모델을 기반으로 한 로컬 멀티모달 에이전트 프레임워크
  온디바이스 대화형 비전 에이전트가 필요하다면, 다른 로컬 실행 가능 멀티모달 모델 스택을 고려할 수 있습니다. 차이점은 타겟 런타임에서 grounding(바운딩 박스)와 도구 사용 오케스트레이션 처리 방식입니다.

• 비에이전트형 비디오 분석 플랫폼
  비디오 분석 도구는 객체와 이벤트를 탐지할 수 있지만, Reka Edge의 에이전트 오케스트레이션 워크플로우에서 설명된 도구 사용, 다단계 행동 라우팅을 제공하지 않을 수 있습니다.