PerchAI
การใช้ Perch

โมเดลในเครื่อง

รัน Perch บนโมเดลในคอมพิวเตอร์ของคุณเองผ่าน Ollama, LM Studio หรือเซิร์ฟเวอร์ llama.cpp เทิร์นที่ใช้โมเดลนั้นไม่ถูกวัดตามปริมาณการใช้งาน และแอดเดรสไม่เคยออกไปจากเครื่องของคุณ

Perch รันบนโมเดลที่ให้บริการจากคอมพิวเตอร์ของคุณเองแทนโมเดลแบบโฮสต์ได้ การเรียกโมเดลเกิดขึ้นบนเครื่องของคุณ พรอมต์จึงไม่เคยไปถึงเซิร์ฟเวอร์ของ Perch และเทิร์นนั้นก็ไม่ถูกหักจากโควต้าของคุณ

The short version

ใน Perch Desktop ไปที่ Settings → Models ใต้หัวข้อ Local models ส่วนใน CLI ใช้ perch byolm เปิดให้ใช้ทุกแพ็กเกจ แต่ใช้ในเบราว์เซอร์ไม่ได้ ด้วยเหตุผลด้านล่าง

ทำไมจึงใช้ได้เฉพาะเดสก์ท็อปกับ CLI

โมเดลในเครื่องอยู่ที่แอดเดรสบนคอมพิวเตอร์ของคุณ ซึ่งมักเป็น localhost เซิร์ฟเวอร์ของ Perch เข้าถึงมันไม่ได้ และแท็บเบราว์เซอร์ก็เข้าถึงไม่ได้เช่นกัน Perch Desktop และ CLI รันการเรียกโมเดลในโปรเซสของตัวเองบนเครื่องของคุณ ซึ่งเป็นที่เดียวที่เข้าถึงแอดเดรสนั้นได้ การเก็บไว้ที่นั่นยังหมายความว่าแอดเดรสและคีย์ใดๆ อยู่บนเครื่อง ไม่เคยถูกบันทึกลงบัญชีของคุณ

การตั้งค่าใน Perch Desktop

เปิด Settings → Models แล้วดูใต้หัวข้อ Local models Perch จะมองหา Ollama และ LM Studio บนคอมพิวเตอร์ แล้วแสดงรายการโมเดลที่แต่ละตัวมี

  • แอปที่กำลังรันและมีโมเดลอยู่ จะแสดงรายการโมเดล พร้อมหน้าต่างคอนเท็กซ์ของแต่ละตัวและว่ามันเรียกเครื่องมือได้ไหม เลือกตัวหนึ่งแล้วกด Use
  • แอปที่ติดตั้งไว้แต่ไม่ได้รันอยู่ จะแสดงว่าไม่ได้ทำงาน คุณจึงเปิดมันแล้วกลับมาดูอีกครั้ง
  • ถ้าไม่เจอทั้งสองตัว Perch จะให้ลิงก์ไปทั้งคู่ ดาวน์โหลดโมเดลในแอปนั้นก่อน ส่วน LM Studio ยังต้องเปิดเซิร์ฟเวอร์ในเครื่องของมันด้วย
  • อย่างอื่นนอกจากนี้ ใส่เองได้ใต้หัวข้อ A model at another address ไม่ว่าจะเป็นเซิร์ฟเวอร์ llama.cpp หรือแอปโมเดลบนคอมพิวเตอร์อีกเครื่องในเครือข่ายของคุณ คุณใส่แอดเดรส ชื่อโมเดล และคีย์ถ้ามันต้องใช้

การทดสอบการเชื่อมต่อ

การบันทึกโมเดลจะส่งคำขอเล็กๆ หนึ่งครั้งไปหามัน และควรให้ความสำคัญกับผลที่ได้ โมเดลในเครื่องที่เรียกเครื่องมือไม่ได้จะดูเหมือนใช้งานได้ แล้วไปค้างเอาตอนอ่านไฟล์ครั้งแรก Perch จึงตรวจเรื่องนี้ตั้งแต่ต้น แทนที่จะปล่อยให้คุณไปรู้เอากลางทาง

การทดสอบรายงานว่าอะไรผิดพลาดด้วยถ้อยคำตรงไปตรงมา

ปัญหาหมายความว่าอย่างไร
หน้าต่างเล็กเกินไปพรอมต์ของ Perch ไม่เหลือที่ให้โมเดลทำงาน ใช้หน้าต่างคอนเท็กซ์ที่ใหญ่ขึ้น
มันตอบ แต่ไม่ได้เรียกเครื่องมือPerch อ่านไฟล์และรันคำสั่งผ่านการเรียกเครื่องมือ จึงทำงานกับโมเดลนี้ไม่ได้ ถ้าเป็นเซิร์ฟเวอร์ llama.cpp ให้เริ่มมันด้วย --jinja ถ้าไม่มีตัวเลือกนี้ เซิร์ฟเวอร์จะไม่ส่งการเรียกเครื่องมือผ่านไป
มันทำไม่ทันเวลาแอปอาจยังโหลดโมเดลอยู่ การโหลดครั้งแรกใช้เวลาเป็นนาทีหรือนานกว่านั้นได้
ไม่ตอบสนองแอปที่ให้บริการโมเดลไม่ได้ทำงานอยู่

การทดสอบที่ผ่านยังบันทึกความเร็วไว้ด้วย ทั้งโทเค็นขาออกต่อวินาที และเวลาที่คำตอบแรกใช้ ถ้าโมเดลลงการ์ดจอได้แค่บางส่วน หรือมันรันอยู่บนหน่วยประมวลผลแทน Perch จะบอกคุณ เพราะนั่นคือสาเหตุปกติที่โมเดลในเครื่องรู้สึกช้า วิธีแก้คือใช้โมเดลที่เล็กลง

สองการตั้งค่าที่ควรรู้

  • หน้าต่างคอนเท็กซ์ โมเดลอ่านบทสนทนาและไฟล์ของคุณได้ครั้งละเท่าไร ยิ่งใหญ่ยิ่งใช้หน่วยความจำมาก ค่าเริ่มต้นคือ 32K เซิร์ฟเวอร์บางตัวกำหนดหน้าต่างของตัวเอง และในกรณีนั้นคุณต้องไปเปลี่ยนที่จุดที่คุณเริ่มเซิร์ฟเวอร์
  • Every tool เมื่อปิดอยู่ โมเดลจะได้รายการสั้นที่โมเดลในเครื่องจัดการได้ดี ได้แก่ ไฟล์ การค้นหา และคำสั่ง เมื่อเปิดอยู่ มันจะได้เครื่องมือทุกตัวและพรอมต์เต็ม ซึ่งไม่เหลือที่ให้ทำงานที่ 32K ค่าเริ่มต้นจึงขยับขึ้นไปอีกขั้นเป็น 64K

ใน CLI

perch byolm detect                                    # find local model apps that are running
perch byolm use llama3.1                              # pick one of their models, no URL needed
perch byolm set http://localhost:11434/v1 llama3.1   # or register one by address
perch byolm test                                      # probe that it responds and calls tools
perch byolm status                                    # show the current local model
perch byolm off                                       # pause it; perch byolm on resumes
perch byolm clear                                     # remove it and go back to Roost

--key ใน set เป็นตัวเลือกเสริม และเอนจินในเครื่องส่วนใหญ่ไม่ต้องใช้ Perch จะละเว้นเฮดเดอร์การยืนยันตัวตนไปทั้งหมดแทนที่จะส่งค่าปลอม ส่วน --all-tools ใน use หรือ set คือสวิตช์เดียวกับ Every tool ด้านบน

อะไรเปลี่ยนและอะไรไม่เปลี่ยน

  • ไม่ถูกวัดตามปริมาณการใช้งาน เทิร์นที่ใช้โมเดลในเครื่องของคุณไม่ถูกหักจากโควต้าของแพ็กเกจ โควต้าที่รวมมาให้ยังอยู่ครบขณะที่คุณใช้มัน
  • ไม่มีการเปลี่ยนไปใช้ตัวอื่นเงียบๆ เทิร์นที่ใช้โมเดลในเครื่องจะไม่เปลี่ยนไปใช้โมเดลแบบโฮสต์โดยไม่บอก ถ้าโมเดลทำงานนั้นไม่ได้ เทิร์นนั้นจะบอกตรงๆ
  • แชตยังถูกบันทึกไว้ในบัญชีของคุณ เหมือนแชตอื่นๆ มันจึงอยู่บนอุปกรณ์เครื่องอื่นของคุณด้วย
  • ส่วนที่เหลือของ Perch ทำงานตามปกติ พื้นที่ทำงาน หน่วยความจำ การค้นคืน และเครื่องมือต่างๆ ยังทำงานเหมือนเดิม