PerchAI
Perchの使い方

ローカルモデル

Ollama、LM Studio、llama.cppのサーバーを通じて、自分のコンピューター上のモデルでPerchを動かせます。そのターンは課金対象外で、アドレスがマシンの外に出ることもありません。

Perchは、ホスト型のモデルではなく、自分のコンピューターから提供されるモデルで動かせます。モデルの呼び出しはあなたのマシンで行われるので、プロンプトがPerchのサーバーに届くことはなく、そのターンは割り当てから差し引かれません。

The short version

Perch DesktopではSettings → ModelsのLocal modelsの項目、CLIではperch byolmです。すべてのプランで使えます。ブラウザでは使えません。理由は下のとおりです。

デスクトップとCLIだけな理由

ローカルモデルは、あなたのコンピューター上のアドレス、たいていはlocalhostにあります。Perchのサーバーからはそこに届かず、ブラウザのタブからも届きません。Perch DesktopとCLIは、あなたのマシン上の自分のプロセスでモデル呼び出しを実行します。そのアドレスに届くのはそこだけです。そこに留めることで、アドレスも鍵もマシンの中に残ります。アカウントに保存されることはありません。

Perch Desktopでの設定

Settings → Modelsを開き、Local modelsの項目を見てください。PerchはコンピューターのOllamaとLM Studioを探し、それぞれが持っているモデルを一覧にします。

  • 動作中でモデルがあるアプリは、各モデルのコンテキストウィンドウと、ツールを呼べるかどうかとともに一覧になります。ひとつ選んでUseを押します。
  • インストール済みだが動いていないアプリは未起動として表示されるので、起動してからもう一度確認してください。
  • どちらも見つからない場合は、両方へのリンクが出ます。まずアプリのなかでモデルをダウンロードしてください。LM Studioはローカルサーバーをオンにする必要もあります。
  • それ以外は、A model at another addressから手で登録します。llama.cppのサーバーや、ネットワーク上の別のコンピューターにあるモデルアプリなどです。アドレス、モデル名、そして必要ならキーを入力します。

接続テスト

モデルを保存すると、小さなリクエストが一度だけ送られます。これは軽く見ないほうがよいものです。ツールを呼べないローカルモデルは、動いているように見えて、最初のファイル読み込みで止まります。作業の途中でそれに気づくことにならないよう、Perchは先に確かめます。

テストは、何がうまくいかなかったかを平たい言葉で報告します。

問題意味
ウィンドウが小さすぎるPerchのプロンプトで埋まってしまい、モデルが働く余地が残りません。より大きなコンテキストウィンドウを使ってください。
答えたが、ツールを呼ばなかったPerchはツール呼び出しでファイルを読み、コマンドを実行するので、このモデルでは作業できません。llama.cppのサーバーなら--jinjaをつけて起動してください。これがないと、サーバーはツール呼び出しを通しません。
時間内に終わらなかったアプリがまだモデルを読み込み中かもしれません。最初の読み込みには一分以上かかることがあります。
応答がないモデルを提供しているアプリが動いていません。

通ったテストは速度も記録します。毎秒の出力トークン数と、最初の答えまでにかかった時間です。モデルの一部しかグラフィックカードに載っていない場合や、代わりにプロセッサーで動いている場合はPerchがそう伝えます。ローカルモデルが遅く感じる原因はたいていそこだからです。直し方は、より小さいモデルにすることです。

知っておく価値のある二つの設定

  • コンテキストウィンドウ:チャットとファイルをモデルが一度にどれだけ読むかです。大きいほど多くのメモリが要ります。既定は32Kです。サーバーによっては自分でウィンドウを決めるので、その場合はサーバーを起動する側で変えます。
  • Every tool:オフなら、ローカルモデルがうまく扱える短いほうの一覧、つまりファイル、検索、コマンドが渡されます。オンなら、すべてのツールと完全なプロンプトが渡され、32Kでは働く余地が残らないため、既定はひとつ上の64Kから始まります。

CLIでは

perch byolm detect                                    # find local model apps that are running
perch byolm use llama3.1                              # pick one of their models, no URL needed
perch byolm set http://localhost:11434/v1 llama3.1   # or register one by address
perch byolm test                                      # probe that it responds and calls tools
perch byolm status                                    # show the current local model
perch byolm off                                       # pause it; perch byolm on resumes
perch byolm clear                                     # remove it and go back to Roost

setの--keyは任意で、たいていのローカルランタイムには不要です。Perchはダミーの値を送るのではなく、認可ヘッダーそのものを省きます。useやsetの--all-toolsは、上のEvery toolと同じスイッチです。

変わること、変わらないこと

  • 課金対象外です。 ローカルモデルでのターンは、プランの割り当てから差し引かれません。使っているあいだも、含まれている割り当ては手つかずのままです。
  • 黙って切り替わりません。 ローカルモデルのターンが、こっそりホスト型モデルに変わることはありません。モデルにその仕事ができなければ、ターンがそう言います。
  • チャットはこれまでどおりアカウントに保存されます。 ほかのチャットと同じなので、別のデバイスでも見られます。
  • Perchのそのほかはいつもどおりです。 ワークスペース、メモリ、検索と取り込み、各ツールの動きは変わりません。