PerchAI
Menggunakan Perch

Model lokal

Jalankan Perch dengan model di komputer Anda sendiri lewat Ollama, LM Studio, atau server llama.cpp. Giliran dengannya tidak diukur penggunaannya, dan alamatnya tidak pernah meninggalkan komputer Anda.

Perch bisa berjalan dengan model yang dilayani dari komputer Anda sendiri alih-alih model yang di-host. Panggilan model dilakukan di komputer Anda, jadi prompt-nya tidak pernah sampai ke server Perch dan gilirannya tidak diukur terhadap jatah Anda.

The short version

Di Perch Desktop, Settings → Models, di bawah Local models. Di CLI, perch byolm. Terbuka untuk semua paket. Tidak tersedia di browser, karena alasan di bawah.

Kenapa hanya di desktop dan CLI

Model lokal berada di sebuah alamat di komputer Anda, biasanya localhost. Server Perch tidak bisa menjangkaunya, dan tab browser juga tidak. Perch Desktop dan CLI menjalankan panggilan model dalam prosesnya sendiri di komputer Anda, satu-satunya tempat alamat itu bisa dijangkau. Menyimpannya di sana juga berarti alamat dan kunci apa pun tetap di komputer: keduanya tidak pernah disimpan ke akun Anda.

Menyiapkannya di Perch Desktop

Buka Settings → Models dan lihat di bawah Local models. Perch mencari Ollama dan LM Studio di komputer, lalu menampilkan model yang dimiliki masing-masing.

  • Aplikasi yang berjalan dan punya model akan menampilkannya, lengkap dengan jendela konteks tiap model dan apakah ia bisa memanggil tool. Pilih satu lalu tekan Use.
  • Aplikasi yang terpasang tapi tidak berjalan ditampilkan sebagai tidak berjalan, jadi Anda menjalankannya lalu memeriksa lagi.
  • Kalau keduanya tidak ditemukan, Perch memberi tautan ke keduanya. Unduh dulu sebuah model di dalam aplikasinya. LM Studio juga perlu server lokalnya dinyalakan.
  • Apa pun selain itu dimasukkan manual di bawah A model at another address: sebuah server llama.cpp, atau aplikasi model di komputer lain dalam jaringan Anda. Anda memberikan alamat, nama model, dan sebuah kunci kalau memang perlu.

Tes koneksi

Menyimpan sebuah model akan menjalankan satu permintaan kecil kepadanya, dan hasilnya layak dianggap serius. Model lokal yang tidak bisa memanggil tool tampak seolah berfungsi lalu macet pada pembacaan berkas pertama, jadi Perch memeriksanya di awal ketimbang membiarkan Anda menemukannya di tengah tugas.

Tes itu melaporkan apa yang salah dengan bahasa yang lugas:

MasalahArtinya
Jendelanya terlalu kecilPrompt Perch tidak menyisakan ruang bagi model untuk bekerja. Pakai jendela konteks yang lebih besar.
Ia menjawab, tapi tidak memanggil toolPerch membaca berkas dan menjalankan perintah lewat panggilan tool, jadi ia tidak bisa bekerja dengan model ini. Pada server llama.cpp, jalankan dengan --jinja: tanpa itu server tidak meneruskan panggilan tool.
Ia tidak selesai tepat waktuAplikasinya mungkin masih memuat modelnya. Pemuatan pertama bisa makan satu menit atau lebih.
Tidak menjawabAplikasi yang melayani model itu tidak sedang berjalan.

Tes yang lolos juga mencatat kecepatannya: token keluaran per detik, dan berapa lama jawaban pertama datang. Kalau hanya sebagian model yang muat di kartu grafis, atau ia justru berjalan di prosesor, Perch mengatakannya, sebab itulah alasan biasa sebuah model lokal terasa lambat. Perbaikannya adalah model yang lebih kecil.

Dua pengaturan yang perlu diketahui

  • Jendela konteks. Seberapa banyak isi chat dan berkas Anda yang dibaca model sekaligus. Makin besar, makin banyak memori yang dibutuhkan. Bawaannya 32K. Sebagian server menetapkan jendelanya sendiri, dan Anda mengubahnya di tempat Anda menjalankan server itu.
  • Every tool. Mati, model mendapat daftar pendek yang biasa ditangani model lokal dengan baik: berkas, pencarian, dan perintah. Nyala, ia mendapat seluruh tool dan prompt penuh, yang tidak menyisakan ruang untuk bekerja di 32K, jadi bawaannya naik satu tingkat ke 64K.

Di CLI

perch byolm detect                                    # find local model apps that are running
perch byolm use llama3.1                              # pick one of their models, no URL needed
perch byolm set http://localhost:11434/v1 llama3.1   # or register one by address
perch byolm test                                      # probe that it responds and calls tools
perch byolm status                                    # show the current local model
perch byolm off                                       # pause it; perch byolm on resumes
perch byolm clear                                     # remove it and go back to Roost

--key pada set bersifat opsional, dan kebanyakan runtime lokal tidak memerlukannya: Perch menghilangkan header otorisasi sepenuhnya alih-alih mengirim nilai asal. --all-tools pada use atau set adalah sakelar yang sama dengan Every tool di atas.

Apa yang berubah dan apa yang tidak

  • Tidak diukur penggunaannya. Giliran dengan model lokal Anda tidak dihitung terhadap jatah paket Anda. Jatah yang sudah termasuk tetap utuh selama Anda memakainya.
  • Tidak ada peralihan diam-diam. Giliran dengan model lokal tidak pernah diam-diam beralih ke model yang di-host. Kalau modelnya tidak sanggup, gilirannya mengatakan begitu.
  • Chat tetap disimpan ke akun Anda, seperti chat lainnya, jadi ia ada di perangkat Anda yang lain.
  • Sisa Perch bekerja seperti biasa. Ruang kerja, memori, pengambilan, dan tool-nya berperilaku sama.