Gello

Gello 是什麼？

Gello 是一款 Android 應用，可在裝置本機完整執行 Hugging Face 語言模型，並將其連接到 Discord 作為機器人。它的設計讓 Discord 頻道中的使用者可以直接與機器人對話，而回覆則是在手機本機生成，而非透過雲端 API。

這個專案以單一 APK 和持續的 Discord 連線為核心，手機會執行前景服務，並在裝置上處理傳入訊息、提示組裝與回覆。儲存庫註明支援來自 litert-community Hugging Face 組織、以 .litertlm 模型封裝的 Gemma 4 E2B，並說明不支援 .task 模型。

主要功能

• Android 裝置端模型推論：Gello 在手機本機執行語言模型，因此回覆不會將提示送往外部 LLM 服務。
• Discord 機器人整合：可原生連接 Discord，並在已安裝機器人的頻道中回覆，適合群組聊天互動。
• 前景服務架構：應用會維持與 Discord Gateway WebSocket 的持續連線，這對於從手機長時間在線運作的機器人是必要的。
• 輪替式頻道上下文緩衝區：傳入訊息會更新每個頻道的緩衝區，預設為 20 則訊息，讓回覆可使用最近的對話歷史。
• 自動 speculative decoding 支援：當載入的 .litertlm 模型包含 MTP drafter 支援時，Gello 會啟用 speculative decoding 以提升回覆速度。
• 單手機部署：儲存庫強調完整堆疊可整合進一個 Android 應用中，無需 Termux、筆電或獨立模型伺服器。

如何使用 Gello

在相容的手機上安裝 Android APK，將其設定為 Discord 機器人，並載入支援的 .litertlm 模型，例如已測試的 Gemma 4 E2B 建置。執行後，應用會維持前景服務運作，監聽 Discord 訊息，根據最近的頻道上下文組合提示，並將生成的回覆發布回頻道中。

使用情境

• 群組聊天助理：將 Gello 放進 Discord 頻道，讓本機 AI 參與者與多人在同一串對話中提問與回覆。
• 重新利用舊 Android 手機：把 3 到 5 年前的閒置手機變成專用、長時間在線的本機 AI 裝置，而不是放在抽屜裡閒置。
• 離線或自包含推論設定：將模型執行保留在裝置上，適合想避免託管 LLM 端點或獨立伺服器的使用者。
• 輕量級邊緣部署實驗：測試小型裝置端模型在搭配 Android、Discord 與 LiteRT-LM 時，作為聊天機器人的表現。
• 本機模型基準測試與迭代：觀察 speculative decoding 與 .litertlm 模型支援如何影響行動硬體上的即時回覆行為。

FAQ

Gello 會在雲端執行模型嗎？
不會。儲存庫將 Gello 描述為裝置端機器人：提示與回覆都留在 Android 手機上，模型透過 LiteRT-LM 在本機執行。

它支援哪些模型格式？
來源指出，已測試的支援對象是 litert-community/gemma-4-E2B-it-litert-lm，而且任何來自 litert-community Hugging Face 組織的 .litertlm 模型都應可使用。它明確說明不支援 .task 模型。

它需要筆電或獨立伺服器嗎？
不需要。這個專案被呈現為可直接與 Discord 對話的單一 Android APK，不需 Termux、筆電或獨立模型伺服器。

它如何處理對話上下文？
Gello 會為每個頻道維護一個輪替式緩衝區，保存最近的訊息，預設大小為 20 則，並在生成回覆時使用這些上下文。

為什麼會提到 speculative decoding？
儲存庫說明，Gemma 4 的 MTP heads 與 LiteRT-LM 的 speculative decoding 路徑，在支援時可藉由每個解碼步驟產生多於一個 token，來加快裝置端回覆生成速度。

替代方案

• OpenClaw：倉庫中提到的一個更接近的相關專案。它也會透過聊天應用程式提供本機 AI，但定位為 macOS、Windows 和 Linux 的桌面產品，而不是以手機優先的 Android 應用程式。
• 託管式聊天機器人整合：由雲端 LLM API 驅動的傳統 Discord 機器人。如果你想要代管推理，這些更容易部署，但它們不會把生成保留在手機上，也無法避免外部 API 金鑰。
• 自架本機模型伺服器：在另一台機器上執行模型，並將該模型連接到聊天應用程式的架構。它們比 Gello 提供更通用的基礎設施，但需要比單一 Android 應用程式更多元件。
• 其他裝置端 Android AI 應用程式：可在本機執行模型、但未整合 Discord 的行動應用程式。它們可能共享相同的推理模型家族，但不一定設計為以機器人身分參與群組聊天。