PerchAI
使用 Perch

本機模型

透過 Ollama、LM Studio 或 llama.cpp 伺服器,讓 Perch 使用你自己電腦上的模型執行。這類回合不計量,位址也絕不會離開你的機器。

Perch 可以使用你自己電腦所提供的模型來執行,而不是託管模型。模型呼叫在你的機器上發出,因此提示永遠不會抵達 Perch 的伺服器,該回合也不會從你的額度中扣除。

The short version

在 Perch Desktop 中,位置是 Settings → Models,在 Local models 之下。在 CLI 中則是 perch byolm。所有方案都開放。瀏覽器無法使用,原因見下文。

為什麼只限桌面版與 CLI

本機模型位於你電腦上的某個位址,通常是 localhost。Perch 的伺服器連不到它,瀏覽器分頁同樣連不到。Perch Desktop 與 CLI 會在你機器上的自身程序中發出模型呼叫,而那是唯一連得到該位址的地方。把它留在本機也代表位址與任何金鑰都留在機器上:它們永遠不會被儲存到你的帳號。

在 Perch Desktop 中設定

開啟 Settings → Models,查看 Local models 區塊。Perch 會在這台電腦上尋找 Ollama 與 LM Studio,並列出各自擁有的模型。

  • 正在執行且有模型的應用程式會把它們列出來,附上各自的脈絡視窗大小,以及它能不能呼叫工具。挑一個然後選 Use。
  • 已安裝但沒有在執行的應用程式會顯示為未執行,你把它啟動後再檢查一次即可。
  • 兩個都找不到時,Perch 會給你兩者的連結。先在應用程式裡下載一個模型。LM Studio 還需要開啟它的本機伺服器。
  • 其他情況則在 A model at another address 底下手動填入:例如一台 llama.cpp 伺服器,或是你網路上另一台電腦的模型應用程式。你要提供位址、模型名稱,以及金鑰(如果它需要的話)。

連線測試

儲存模型時會對它發出一次小小的請求,而這個結果值得認真看待。無法呼叫工具的本機模型,看起來像能用,接著就會卡在第一次讀取檔案時,因此 Perch 會先行檢查,而不是讓你在工作中途才發現。

測試會用白話說明哪裡出了問題:

問題代表什麼
視窗太小Perch 的提示沒有替模型留下工作空間。請改用更大的脈絡視窗。
它有回答,但沒有呼叫工具Perch 是透過工具呼叫來讀取檔案與執行指令的,因此無法搭配這個模型工作。若是 llama.cpp 伺服器,請加上 --jinja 啟動:少了它,伺服器不會把工具呼叫傳遞出去。
它沒有及時完成應用程式可能還在載入模型。第一次載入可能要一分鐘或更久。
沒有回應提供該模型的應用程式沒有在執行。

通過的測試也會記下速度:每秒的輸出 token 數,以及第一個答案花了多久。如果模型只有部分放得進顯示卡,或是改在處理器上執行,Perch 會說明,因為那通常就是本機模型感覺很慢的原因。解法是換一個較小的模型。

兩項值得知道的設定

  • 脈絡視窗。 模型一次能讀多少聊天內容與你的檔案。愈大就需要愈多記憶體。預設是 32K。有些伺服器會自行決定視窗大小,這時你得到啟動伺服器的地方去改。
  • Every tool。 關閉時,模型拿到的是本機模型處理得好的精簡清單:檔案、搜尋與指令。開啟時,它會拿到所有工具與完整提示,在 32K 之下沒有餘裕可以工作,因此預設會往上一級,改為 64K。

在 CLI 中

perch byolm detect                                    # find local model apps that are running
perch byolm use llama3.1                              # pick one of their models, no URL needed
perch byolm set http://localhost:11434/v1 llama3.1   # or register one by address
perch byolm test                                      # probe that it responds and calls tools
perch byolm status                                    # show the current local model
perch byolm off                                       # pause it; perch byolm on resumes
perch byolm clear                                     # remove it and go back to Roost

set 的 --key 是選用的,而且多數本機執行環境都不需要:Perch 會完全省略授權標頭,而不是送出一個佔位值。use 或 set 的 --all-tools,就是上面 Every tool 這個開關。

它改變什麼、不改變什麼

  • 不計量。 使用你本機模型的回合不會計入方案的額度。使用期間,你包含在方案內的額度原封不動。
  • 不會無聲改用其他模型。 使用本機模型的回合絕不會悄悄切換到託管模型。如果模型做不來,那個回合會直說。
  • 聊天仍會儲存到你的帳號, 與其他聊天一樣,因此在你的其他裝置上也看得到。
  • Perch 的其餘部分照常運作。 工作區、記憶、檢索與各項工具的行為都不變。