PerchAI
Sử dụng Perch

Mô hình cục bộ

Chạy Perch trên một mô hình ngay trên máy tính của bạn qua Ollama, LM Studio hay một máy chủ llama.cpp. Các lượt trên nó không được đo mức sử dụng, và địa chỉ không bao giờ rời khỏi máy bạn.

Perch có thể chạy trên một mô hình được phục vụ từ chính máy tính của bạn thay vì một mô hình do Perch lưu trữ. Lệnh gọi mô hình được thực hiện trên máy bạn, nên lời nhắc không bao giờ tới máy chủ của Perch và lượt đó không bị trừ vào hạn mức của bạn.

The short version

Trong Perch Desktop: Settings → Models, mục Local models. Trong CLI: perch byolm. Mở cho mọi gói. Không dùng được trên trình duyệt, vì lý do nêu bên dưới.

Vì sao chỉ có trên máy tính và CLI

Mô hình cục bộ nằm ở một địa chỉ trên máy tính của bạn, thường là localhost. Máy chủ của Perch không thể tới đó, và một tab trình duyệt cũng không. Perch Desktop và CLI thực hiện lệnh gọi mô hình trong tiến trình của chính chúng trên máy bạn, nơi duy nhất có thể chạm tới địa chỉ đó. Giữ nó ở đó cũng có nghĩa địa chỉ và mọi khóa đều nằm lại trên máy: chúng không bao giờ được lưu vào tài khoản của bạn.

Thiết lập trong Perch Desktop

Mở Settings → Models và xem mục Local models. Perch tìm Ollama và LM Studio trên máy tính rồi liệt kê các mô hình mà mỗi ứng dụng đang có.

  • Một ứng dụng đang chạy và có mô hình sẽ hiện danh sách, kèm cửa sổ ngữ cảnh của từng mô hình và liệu nó có gọi được công cụ hay không. Chọn một cái rồi bấm Use.
  • Một ứng dụng đã cài nhưng chưa chạy sẽ hiện là chưa chạy, để bạn khởi động nó rồi kiểm tra lại.
  • Nếu không thấy cái nào, Perch đưa bạn liên kết tới cả hai. Hãy tải một mô hình trong ứng dụng đó trước. LM Studio còn cần bật máy chủ cục bộ của nó.
  • Mọi thứ khác được nhập tay ở mục A model at another address: một máy chủ llama.cpp, hoặc một ứng dụng mô hình trên máy tính khác trong mạng của bạn. Bạn cung cấp địa chỉ, tên mô hình, và một khóa nếu nó cần.

Kiểm tra kết nối

Khi lưu một mô hình, Perch gửi một yêu cầu nhỏ tới nó, và kết quả đó đáng được coi trọng. Một mô hình cục bộ không gọi được công cụ trông như vẫn chạy được rồi treo ngay ở lần đọc tệp đầu tiên, nên Perch kiểm tra điều đó ngay từ đầu thay vì để bạn phát hiện giữa chừng.

Phép kiểm tra nói rõ điều gì đã sai, bằng lời lẽ dễ hiểu:

Vấn đềNghĩa là gì
Cửa sổ quá nhỏLời nhắc của Perch không chừa chỗ cho mô hình làm việc. Hãy dùng cửa sổ ngữ cảnh lớn hơn.
Nó có trả lời, nhưng không gọi công cụPerch đọc tệp và chạy lệnh thông qua các lệnh gọi công cụ, nên nó không làm việc được với mô hình này. Với máy chủ llama.cpp, hãy khởi động kèm --jinja: thiếu cờ đó, máy chủ không chuyển tiếp các lệnh gọi công cụ.
Nó không kịp xongỨng dụng có thể vẫn đang nạp mô hình. Lần nạp đầu tiên có thể mất một phút hoặc hơn.
Không trả lờiỨng dụng phục vụ mô hình đó không chạy.

Một phép kiểm tra đạt còn ghi lại tốc độ: số token đầu ra mỗi giây, và câu trả lời đầu tiên mất bao lâu. Nếu chỉ một phần mô hình nằm vừa trên card đồ họa, hoặc nó đang chạy trên bộ xử lý, Perch sẽ nói rõ, vì đó là lý do thường gặp khiến một mô hình cục bộ có cảm giác chậm. Cách khắc phục là dùng mô hình nhỏ hơn.

Hai thiết lập đáng biết

  • Cửa sổ ngữ cảnh. Mô hình đọc được bao nhiêu phần cuộc trò chuyện và tệp của bạn cùng lúc. Lớn hơn thì cần nhiều bộ nhớ hơn. Mặc định là 32K. Một số máy chủ tự đặt cửa sổ riêng, và khi đó bạn đổi nó ở nơi bạn khởi động máy chủ.
  • Every tool. Khi tắt, mô hình nhận danh sách ngắn mà các mô hình cục bộ xử lý tốt: tệp, tìm kiếm và lệnh. Khi bật, nó nhận mọi công cụ và lời nhắc đầy đủ, vốn không chừa chỗ để làm việc ở 32K, nên mặc định nhảy lên một nấc thành 64K.

Trong CLI

perch byolm detect                                    # find local model apps that are running
perch byolm use llama3.1                              # pick one of their models, no URL needed
perch byolm set http://localhost:11434/v1 llama3.1   # or register one by address
perch byolm test                                      # probe that it responds and calls tools
perch byolm status                                    # show the current local model
perch byolm off                                       # pause it; perch byolm on resumes
perch byolm clear                                     # remove it and go back to Roost

--key trong set là tùy chọn, và phần lớn runtime cục bộ không cần nó: Perch bỏ hẳn tiêu đề ủy quyền thay vì gửi một giá trị giả. --all-tools trong use hoặc set chính là công tắc Every tool ở trên.

Nó đổi gì và không đổi gì

  • Không đo mức sử dụng. Các lượt trên mô hình cục bộ của bạn không bị tính vào hạn mức của gói. Phần hạn mức đi kèm vẫn nguyên vẹn trong lúc bạn dùng nó.
  • Không âm thầm quay về. Một lượt trên mô hình cục bộ không bao giờ lặng lẽ chuyển sang mô hình do Perch lưu trữ. Nếu mô hình không làm nổi việc đó, lượt ấy sẽ nói ra.
  • Cuộc trò chuyện vẫn được lưu vào tài khoản, như mọi cuộc trò chuyện khác, nên chúng có mặt trên các thiết bị khác của bạn.
  • Phần còn lại của Perch hoạt động như thường. Không gian làm việc, bộ nhớ, truy xuất và các công cụ đều hành xử y như cũ.