UStackUStack
模力方舟(Gitee AI) icon

模力方舟(Gitee AI)

模力方舟(Gitee AI)匯聚多種 AI 模型,提供模型體驗、推理、訓練、部署的一站式能力,含 serverless 推理 API 與彈性 GPU 算力。

模力方舟(Gitee AI)

什麼是模力方舟(Gitee AI)?

模力方舟(Gitee AI)是一個面向 AI 應用開發的「一站式」平台,匯聚多種預訓練模型,並提供模型體驗、推理、訓練、部署到應用的相關能力。平台的核心目標是讓開發者在不自行管理基礎設施的情況下,更快地把模型接入業務或應用中。

在平台內,用戶可以透過線上體驗與標準介面進行模型推理;在需要客製化的情況下,還可以進行模型微調與資料預處理。算力端提供彈性 GPU 算力租賃,並支援不同類型的 GPU 選擇。此外,平台提供面向應用開發者的應用市場與部署變現支援,用於把模型成果進一步發布為可用的應用,形成「從模型到應用」的閉環流程。

主要功能

  • Serverless 大模型推理 API:提供面向推理場景的 API 服務,並強調無需管理底層基礎設施;同時支援自動擴縮容、GPU 加速與低延遲特性(以頁面表述為準)。
  • 線上模型體驗與標準介面:提供模型體驗入口,並聲明支援相容 OpenAI SDK 的標準介面,便於接入現有應用或開發工作流。
  • 多模態模型涵蓋與持續更新:支援文字、影像、音訊與多模態等多種模型類型,並強調模型持續更新。
  • 模型微調與訓練追蹤:提供模型微調(Model Finetune)能力;包含資料預處理(如影像標註與裁切)並提供視覺化訓練追蹤記錄(例如 Loss 隨批次變化)。
  • 彈性 GPU 算力租賃(Reserved GPUs):提供按需付費的 GPU 算力租賃,支援從單卡到大規模叢集,並提供小時級起租與啟停能力。
  • 國產異構算力適配:除 NVIDIA GPU 外,支援沐曦、昇騰等國產異構算力選擇,並提供對國產軟硬體技術棧的適配與優化。

如何使用模力方舟(Gitee AI)

  1. 選擇推理路徑
    先在平台進行模型體驗;隨後透過平台提供的標準介面(相容 OpenAI SDK)或推理 API 將模型接入你的應用中。

  2. 如需客製化:準備資料並進行微調
    準備業務資料後,使用平台內建的資料預處理工具(例如影像標註/裁切)完成處理;然後在微調模組中啟動訓練,並在視覺化介面查看訓練追蹤資訊(如 Loss 等指標)。

  3. 按需配置算力與開發環境
    如果需要彈性算力,可按需租用 GPU;在瀏覽器工作區中使用內建框架與 Jupyter 開發環境進行開發與驗證。

  4. 部署與應用化(上架到應用市場)
    將模型能力服務化後,使用平台的應用市場能力進行部署與上架;結合平台提供的推廣與商業化支援,將服務面向用戶發布。

使用情境

  • 用推理 API 快速上線文字或多模態能力:在應用中接入標準推理 API,實現文字生成、以及與影像/音訊相關的能力,並利用平台強調的自動擴縮容特性應對突發流量。
  • 對特定業務資料進行客製化微調(影像相關):使用平台內建影像標註與裁切工具做資料預處理,再進行模型微調;可透過視覺化訓練追蹤查看 Loss 隨批次變化,輔助迭代訓練方案。
  • 按小時租用 GPU 進行訓練/推理並控制資源佔用:在訓練或推理任務中按小時租用 GPU 算力,並可隨時啟停,以匹配工作負載與資源使用節奏。
  • 在需要國產算力選項時規劃部署資源:當部署或訓練環境需要國產異構算力選項時,可結合平台對沐曦、昇騰等算力的支援進行資源選擇與規劃。
  • 將模型成果發布為可用應用:透過應用市場流程將服務上架並部署,利用上架、審核與推廣/流量分發機制將能力提供給用戶。

常見問題

1. 平台是否需要我自行管理基礎設施?
平台的推理 API 採用 serverless 方案,強調無需自行運維基礎設施。若選擇彈性 GPU 算力租賃,仍使用平台提供的算力資源;頁面未進一步細化你是否需要做自訂運維。

2. 現有程式碼是否可以直接接入?
平台聲明支援相容 OpenAI SDK 的標準介面。若你的應用使用 OpenAI SDK 相關工作流,通常更便於把平台模型接入現有開發方式中。

3. 是否支援微調以及訓練過程監控?
支援。頁面提到提供模型微調服務,並內建視覺化訓練追蹤記錄(例如 Loss 隨批次變化)。

4. 是否支援國產 GPU 或異構算力?
支援。頁面明確提到除 NVIDIA GPU 外,還支援沐曦、昇騰等國產異構算力選擇,並提供對國產軟硬體技術棧的適配與優化。

5. 是否提供從模型到應用的發布能力?
提供。頁面列出面向 AI 應用開發者的應用市場能力,包括應用上架、服務部署與商業化變現相關的全鏈路支援。

替代方案

  • 自建模型推理服務(自管推理框架/推理伺服器):適合對底層運維有成熟團隊、需要高度客製化控制的場景。相對 serverless 推理,這通常需要更多基礎設施與運維工作。
  • 通用雲 AI 推理平台/模型託管服務:可用於模型推理與部署,但在介面標準、模型體驗、以及是否包含應用上架/生態聯動等方面,可能與模力方舟(Gitee AI)的「一站式」路徑不同。
  • 開源訓練與微調工具鏈(結合自有訓練資源):適合希望完全控制訓練流程與環境的用戶。相對平台內建的微調與視覺化追蹤,自建通常需要更多自主管理工作。
  • 應用建構平台(低程式碼/工作流編排)+ 外部模型 API:當目標是快速建構應用原型,這類方案可以把工作流編排與外部模型能力組合起來;但可能需要自行串聯模型體驗、訓練與部署等環節,而不是直接依賴單一平台的閉環能力。
模力方舟(Gitee AI) | UStack