Reka Edge

Reka Edge 是什麼？

Reka Edge 是一款可本地部署的多模態 AI 模型與平台，用於即時視覺理解與代理式協作編排。它設計用於邊緣硬體（包含 NVIDIA Jetson 系列）運行，讓應用程式能低延遲處理視訊串流，並產生物件邊界框與內容重點等結構化輸出。

此產品定位於重視速度與可靠性的生產環境，特別適用於機器人、即時監控，以及需持續與世界互動的實體代理系統等情境。

主要功能

• 本地邊緣部署（本地運行 + API 存取）： 無需依賴雲端推論，支援即時工作流程。
• 即時視訊分析： 直接從視訊串流執行 物件偵測 與 場景理解 等任務。
• 透過邊界框提供精準空間定位： 產生工具、目標物件與障礙物的邊界框，支援空間決策（例如辨識「10mm 扳手」）。
• 媒體/內容重點生成： 支援從視覺媒體與內容產生重點。
• 具工具使用框架的多模態代理協作： 透過將視覺脈絡對應至硬體/軟體操作，協調多步驟動作（例如呼叫機器人硬體 API 進行控制）。

如何使用 Reka Edge

1. 選擇執行方式：依應用環境，將模型部署為本地運行或透過 API 呼叫。
2. 提供視訊輸入：將視訊資料串流至模型，進行持續視覺處理。
3. 要求空間定位輸出：使用參照場景中物件的提示，擷取工具/目標/障礙物的 邊界框。
4. 將協作連接到控制邏輯：使用邊緣代理（例如機器人）時，將模型的工具使用輸出路由至硬體 API，執行多步驟任務。
5. 迭代驗證生產行為：在目標環境（邊緣運算或其他部署目標）中驗證延遲與輸出格式。

使用情境

• 機器人：工具定位與抓取規劃 機器人的立體相機將高畫格率視訊串流至邊緣運算。Reka Edge 擷取指定工具的邊界框，並支援多步驟工具使用動作以進行操作。

• 機器人：雜亂工作空間的場景理解 在非結構化環境中，模型即時辨識相關物件與障礙物，實現更快基於座標的導航與互動決策。

• 即時監控：物件偵測與場景理解 部署於邊緣硬體，即時解讀視訊饋送，並產生適合下游監控工作流程的結構化視覺理解輸出。

• 汽車（車載）：注重隱私的車艙視訊理解 此產品可在車輛運算離線運行，利用多個相機饋送（儀表板/方向盤柱/後座螢幕）支援對話式、脈絡感知的車艙互動。

• 汽車（車載）：對話式時間查詢與代理控制 Reka Edge 評估畫格序列以解讀展開事件（例如駕駛指向店面後詢問「那個地方什麼時候關門？」），並可路由任務同時觸發相關警示與資訊娛樂動作。

常見問題

問：Reka Edge 是設計用於雲端還是邊緣部署？
答：本頁描述以邊緣優先的使用方式，包括本地執行並在邊緣運算上處理影像，以避免雲端延遲。

問：Reka Edge 支援哪些類型的輸入？
答：描述的工作流程著重於影像串流，用於物件偵測、場景理解，以及媒體/內容亮點生成。在機器人/汽車情境中，它會攝取立體相機或多個車輛相機的資料。

問：它為空間任務產生哪些輸出？
答：針對實體代理工作流程，它會提取工具、目標物件和障礙物的精確邊界框，並支援對話式指向（例如，辨識視野中的特定工具）。

問：它如何幫助將視覺連結到動作？
答：本頁描述一個工具使用框架，其中多模態代理協作編排可呼叫硬體 API（機器人控制）或將任務路由至相關車輛系統（ADAS 警示和資訊娛樂 API）。

問：本頁是否提及模型大小或架構細節？
答：是的。它指出 Reka Edge 2 使用660M 參數 ConvNeXT V2 視覺編碼器、6B 參數語言主幹，以及7B 總參數。

替代方案

• 雲端託管的多模態 VLM（基於 API）
  這些可提供強大的視覺能力，但通常涉及網路延遲，且可能不適合亞秒級、常開邊緣控制迴圈。

• 使用獨立偵測器 + 追蹤器的邊緣優化視覺管線
  團隊可能組合專用物件偵測器和追蹤系統，而非整合多模態模型。這可能需要更多客製工程來實現對話式 grounding 和代理式協作編排。

• 基於其他邊緣相容視覺語言模型的本地多模態代理框架
  若需裝置上的對話式視覺代理，您可考慮其他可本地執行的多模態模型堆疊；差異在於它們如何在目標執行環境中處理 grounding（邊界框）和工具使用協作編排。

• 非代理式的影像分析平台
  影像分析工具可偵測物件和事件，但可能無法提供 Reka Edge 代理協作工作流程中描述的相同工具使用、多步驟動作路由。