โมเดลในเครื่อง
รัน Perch บนโมเดลในคอมพิวเตอร์ของคุณเองผ่าน Ollama, LM Studio หรือเซิร์ฟเวอร์ llama.cpp เทิร์นที่ใช้โมเดลนั้นไม่ถูกวัดตามปริมาณการใช้งาน และแอดเดรสไม่เคยออกไปจากเครื่องของคุณ
Perch รันบนโมเดลที่ให้บริการจากคอมพิวเตอร์ของคุณเองแทนโมเดลแบบโฮสต์ได้ การเรียกโมเดลเกิดขึ้นบนเครื่องของคุณ พรอมต์จึงไม่เคยไปถึงเซิร์ฟเวอร์ของ Perch และเทิร์นนั้นก็ไม่ถูกหักจากโควต้าของคุณ
The short version
perch byolm เปิดให้ใช้ทุกแพ็กเกจ แต่ใช้ในเบราว์เซอร์ไม่ได้ ด้วยเหตุผลด้านล่างทำไมจึงใช้ได้เฉพาะเดสก์ท็อปกับ CLI
โมเดลในเครื่องอยู่ที่แอดเดรสบนคอมพิวเตอร์ของคุณ ซึ่งมักเป็น localhost เซิร์ฟเวอร์ของ Perch เข้าถึงมันไม่ได้ และแท็บเบราว์เซอร์ก็เข้าถึงไม่ได้เช่นกัน Perch Desktop และ CLI รันการเรียกโมเดลในโปรเซสของตัวเองบนเครื่องของคุณ ซึ่งเป็นที่เดียวที่เข้าถึงแอดเดรสนั้นได้ การเก็บไว้ที่นั่นยังหมายความว่าแอดเดรสและคีย์ใดๆ อยู่บนเครื่อง ไม่เคยถูกบันทึกลงบัญชีของคุณ
การตั้งค่าใน Perch Desktop
เปิด Settings → Models แล้วดูใต้หัวข้อ Local models Perch จะมองหา Ollama และ LM Studio บนคอมพิวเตอร์ แล้วแสดงรายการโมเดลที่แต่ละตัวมี
- แอปที่กำลังรันและมีโมเดลอยู่ จะแสดงรายการโมเดล พร้อมหน้าต่างคอนเท็กซ์ของแต่ละตัวและว่ามันเรียกเครื่องมือได้ไหม เลือกตัวหนึ่งแล้วกด Use
- แอปที่ติดตั้งไว้แต่ไม่ได้รันอยู่ จะแสดงว่าไม่ได้ทำงาน คุณจึงเปิดมันแล้วกลับมาดูอีกครั้ง
- ถ้าไม่เจอทั้งสองตัว Perch จะให้ลิงก์ไปทั้งคู่ ดาวน์โหลดโมเดลในแอปนั้นก่อน ส่วน LM Studio ยังต้องเปิดเซิร์ฟเวอร์ในเครื่องของมันด้วย
- อย่างอื่นนอกจากนี้ ใส่เองได้ใต้หัวข้อ A model at another address ไม่ว่าจะเป็นเซิร์ฟเวอร์ llama.cpp หรือแอปโมเดลบนคอมพิวเตอร์อีกเครื่องในเครือข่ายของคุณ คุณใส่แอดเดรส ชื่อโมเดล และคีย์ถ้ามันต้องใช้
การทดสอบการเชื่อมต่อ
การบันทึกโมเดลจะส่งคำขอเล็กๆ หนึ่งครั้งไปหามัน และควรให้ความสำคัญกับผลที่ได้ โมเดลในเครื่องที่เรียกเครื่องมือไม่ได้จะดูเหมือนใช้งานได้ แล้วไปค้างเอาตอนอ่านไฟล์ครั้งแรก Perch จึงตรวจเรื่องนี้ตั้งแต่ต้น แทนที่จะปล่อยให้คุณไปรู้เอากลางทาง
การทดสอบรายงานว่าอะไรผิดพลาดด้วยถ้อยคำตรงไปตรงมา
| ปัญหา | หมายความว่าอย่างไร |
|---|---|
| หน้าต่างเล็กเกินไป | พรอมต์ของ Perch ไม่เหลือที่ให้โมเดลทำงาน ใช้หน้าต่างคอนเท็กซ์ที่ใหญ่ขึ้น |
| มันตอบ แต่ไม่ได้เรียกเครื่องมือ | Perch อ่านไฟล์และรันคำสั่งผ่านการเรียกเครื่องมือ จึงทำงานกับโมเดลนี้ไม่ได้ ถ้าเป็นเซิร์ฟเวอร์ llama.cpp ให้เริ่มมันด้วย --jinja ถ้าไม่มีตัวเลือกนี้ เซิร์ฟเวอร์จะไม่ส่งการเรียกเครื่องมือผ่านไป |
| มันทำไม่ทันเวลา | แอปอาจยังโหลดโมเดลอยู่ การโหลดครั้งแรกใช้เวลาเป็นนาทีหรือนานกว่านั้นได้ |
| ไม่ตอบสนอง | แอปที่ให้บริการโมเดลไม่ได้ทำงานอยู่ |
การทดสอบที่ผ่านยังบันทึกความเร็วไว้ด้วย ทั้งโทเค็นขาออกต่อวินาที และเวลาที่คำตอบแรกใช้ ถ้าโมเดลลงการ์ดจอได้แค่บางส่วน หรือมันรันอยู่บนหน่วยประมวลผลแทน Perch จะบอกคุณ เพราะนั่นคือสาเหตุปกติที่โมเดลในเครื่องรู้สึกช้า วิธีแก้คือใช้โมเดลที่เล็กลง
สองการตั้งค่าที่ควรรู้
- หน้าต่างคอนเท็กซ์ โมเดลอ่านบทสนทนาและไฟล์ของคุณได้ครั้งละเท่าไร ยิ่งใหญ่ยิ่งใช้หน่วยความจำมาก ค่าเริ่มต้นคือ 32K เซิร์ฟเวอร์บางตัวกำหนดหน้าต่างของตัวเอง และในกรณีนั้นคุณต้องไปเปลี่ยนที่จุดที่คุณเริ่มเซิร์ฟเวอร์
- Every tool เมื่อปิดอยู่ โมเดลจะได้รายการสั้นที่โมเดลในเครื่องจัดการได้ดี ได้แก่ ไฟล์ การค้นหา และคำสั่ง เมื่อเปิดอยู่ มันจะได้เครื่องมือทุกตัวและพรอมต์เต็ม ซึ่งไม่เหลือที่ให้ทำงานที่ 32K ค่าเริ่มต้นจึงขยับขึ้นไปอีกขั้นเป็น 64K
ใน CLI
perch byolm detect # find local model apps that are running
perch byolm use llama3.1 # pick one of their models, no URL needed
perch byolm set http://localhost:11434/v1 llama3.1 # or register one by address
perch byolm test # probe that it responds and calls tools
perch byolm status # show the current local model
perch byolm off # pause it; perch byolm on resumes
perch byolm clear # remove it and go back to Roost--key ใน set เป็นตัวเลือกเสริม และเอนจินในเครื่องส่วนใหญ่ไม่ต้องใช้ Perch จะละเว้นเฮดเดอร์การยืนยันตัวตนไปทั้งหมดแทนที่จะส่งค่าปลอม ส่วน --all-tools ใน use หรือ set คือสวิตช์เดียวกับ Every tool ด้านบน
อะไรเปลี่ยนและอะไรไม่เปลี่ยน
- ไม่ถูกวัดตามปริมาณการใช้งาน เทิร์นที่ใช้โมเดลในเครื่องของคุณไม่ถูกหักจากโควต้าของแพ็กเกจ โควต้าที่รวมมาให้ยังอยู่ครบขณะที่คุณใช้มัน
- ไม่มีการเปลี่ยนไปใช้ตัวอื่นเงียบๆ เทิร์นที่ใช้โมเดลในเครื่องจะไม่เปลี่ยนไปใช้โมเดลแบบโฮสต์โดยไม่บอก ถ้าโมเดลทำงานนั้นไม่ได้ เทิร์นนั้นจะบอกตรงๆ
- แชตยังถูกบันทึกไว้ในบัญชีของคุณ เหมือนแชตอื่นๆ มันจึงอยู่บนอุปกรณ์เครื่องอื่นของคุณด้วย
- ส่วนที่เหลือของ Perch ทำงานตามปกติ พื้นที่ทำงาน หน่วยความจำ การค้นคืน และเครื่องมือต่างๆ ยังทำงานเหมือนเดิม
โมเดลและระดับความพยายามต่อแชต
ใน Perch Desktop แต่ละแชตเก็บโมเดลของตัวเองและระดับความพยายามของตัวเองไว้ แชตที่ประหยัดกับแชตที่คิดลึกจึงอยู่เคียงกันได้โดยคุณไม่ต้องตั้งค่าใหม่
เอเจนต์ CLI
รัน Claude Code และ Codex ในแอปเดสก์ท็อปของ Perch ด้วยแพ็กเกจของคุณเอง แต่ละตัวทำงานในสำเนารีโพของคุณที่เป็นของตัวเอง และคุณ merge การเปลี่ยนแปลงของมันเข้าโฟลเดอร์ของคุณเมื่องานเสร็จ สำหรับ Pro และ Ultra

