PerchAI
Cómo usar Perch

Modelos locales

Ejecuta Perch con un modelo en tu propia computadora a través de Ollama, LM Studio o un servidor de llama.cpp. Los turnos con él no se miden, y la dirección nunca sale de tu máquina.

Perch puede funcionar con un modelo servido desde tu propia computadora en lugar de uno alojado. La llamada al modelo se hace en tu máquina, así que el prompt nunca llega a los servidores de Perch y el turno no se descuenta de tu uso incluido.

The short version

En Perch Desktop, Settings → Models, bajo Local models. En la CLI, perch byolm. Abierto a todos los planes. No está disponible en el navegador, por la razón de abajo.

Por qué es solo para escritorio y CLI

Un modelo local vive en una dirección de tu computadora, normalmente localhost. Los servidores de Perch no pueden llegar a ella, y una pestaña del navegador tampoco. Perch Desktop y la CLI hacen la llamada al modelo en su propio proceso en tu máquina, que es el único lugar desde donde se puede llegar a esa dirección. Mantenerlo ahí también significa que la dirección y cualquier clave se quedan en la máquina: nunca se guardan en tu cuenta.

Cómo configurarlo en Perch Desktop

Abre Settings → Models y mira bajo Local models. Perch busca Ollama y LM Studio en la computadora y lista los modelos que tiene cada uno.

  • Una app en ejecución con modelos los lista, con la ventana de contexto de cada uno y si puede llamar herramientas. Elige uno y pulsa Use.
  • Una app instalada pero no en ejecución aparece como no activa, para que la inicies y vuelvas a comprobar.
  • Si no encuentra ninguna de las dos, te da enlaces a ambas. Descarga primero un modelo dentro de la app. LM Studio además necesita que actives su servidor local.
  • Cualquier otra cosa se agrega a mano en A model at another address: un servidor de llama.cpp, o una app de modelos en otra computadora de tu red. Das la dirección, el nombre del modelo y una clave si la necesita.

La prueba de conexión

Guardar un modelo hace una pequeña solicitud contra él, y vale la pena tomársela en serio. Un modelo local que no puede llamar herramientas parece funcionar y luego se traba en la primera lectura de archivos, así que Perch lo comprueba de entrada en lugar de dejar que te enteres a mitad de la tarea.

La prueba informa qué salió mal en términos claros:

ProblemaQué significa
La ventana es demasiado pequeñaEl prompt de Perch no le deja al modelo espacio para trabajar. Usa una ventana de contexto más grande.
Respondió, pero no llamó una herramientaPerch lee archivos y ejecuta comandos mediante llamadas a herramientas, así que no puede trabajar con este modelo. En un servidor de llama.cpp, inícialo con --jinja: sin eso el servidor no deja pasar las llamadas a herramientas.
No terminó a tiempoLa app puede estar cargando el modelo todavía. Una primera carga puede llevar un minuto o más.
No respondeLa app que sirve el modelo no está en ejecución.

Una prueba que pasa también registra la velocidad: tokens de salida por segundo, y cuánto tardó la primera respuesta. Si solo parte del modelo cabe en la tarjeta gráfica, o si está corriendo en el procesador, Perch lo dice, porque esa es la razón habitual de que un modelo local se sienta lento. La solución es un modelo más chico.

Dos ajustes que conviene conocer

  • Ventana de contexto. Cuánto del chat y de tus archivos lee el modelo de una vez. Más grande necesita más memoria. El valor predeterminado es 32K. Algunos servidores fijan su propia ventana, y entonces la cambias donde inicias el servidor.
  • Every tool. Desactivado, el modelo recibe la lista corta que los modelos locales manejan bien: archivos, búsqueda y comandos. Activado, recibe todas las herramientas y el prompt completo, que no deja espacio para trabajar con 32K, así que el valor predeterminado arranca un tamaño más arriba, en 64K.

En la CLI

perch byolm detect                                    # find local model apps that are running
perch byolm use llama3.1                              # pick one of their models, no URL needed
perch byolm set http://localhost:11434/v1 llama3.1   # or register one by address
perch byolm test                                      # probe that it responds and calls tools
perch byolm status                                    # show the current local model
perch byolm off                                       # pause it; perch byolm on resumes
perch byolm clear                                     # remove it and go back to Roost

--key en set es opcional, y la mayoría de los entornos de ejecución locales no lo necesitan: Perch omite por completo el encabezado de autorización en lugar de enviar un valor de relleno. --all-tools en use o en set es el mismo interruptor que Every tool de arriba.

Qué cambia y qué no

  • No se mide. Los turnos con tu modelo local no se descuentan de los límites de tu plan. Tu uso incluido queda intacto mientras lo usas.
  • Sin cambio silencioso. Un turno con un modelo local nunca cambia en silencio a un modelo alojado. Si el modelo no puede hacer el trabajo, el turno lo dice.
  • Los chats se siguen guardando en tu cuenta, como cualquier otro chat, así que están en tus otros dispositivos.
  • El resto de Perch funciona como siempre. El espacio de trabajo, la memoria, la recuperación y las herramientas se comportan igual.