Hace poco se anunció una funcionalidad muy esperada: ahora puedes utilizar modelos personalizados en tus conversaciones con GitHub Copilot Chat 🎉 (todavía en Preview). Basta con hacer clic en el picker de modelos, ir a Manage Models, y desde ahí elegir el proveedor que mejor se ajuste a tus necesidades.

Uno de esos proveedores es Ollama 🦙, lo que significa que también puedes aprovechar cualquier modelo que tengas corriendo en tu servidor local. En este artículo quiero mostrarte cómo puedes usar esos modelos dentro de un Dev Container, incluso cuando Ollama está instalado directamente en tu host. Si quieres saber más sobre Dev Containers te recomiendo este vídeo de mi canal de YouTube:

Como comenté en el primer vídeo de mi nueva serie sobre IA Generativa para desarrolladores, Ollama funciona mejor si lo dejas fuera del Dev Container.

Así que, si como yo vives en Dev Containers, vas a necesitar un pequeño truco estilo Príncipe de Persia 🕹️ para conectar tu GitHub Copilot Chat con los modelos locales de Ollama. Y justo eso es lo que te voy a enseñar aquí. 👇

Repositorio de ejemplo

En este repo en mi cuenta de GitHub tienes todo el código, pero básicamente lo que he hecho ha sido crearme esta configuración de Dev Container:

{
	"name": "🚀 Ollama 🦙 - Your GitHub Copilot Chat Model 🤖",	
	"dockerFile": "Dockerfile",
	"postStartCommand": "socat tcp-listen:11434,fork,reuseaddr tcp-connect:host.docker.internal:11434"
}

Que, como puedes solo tiene tres cosas:

1. Un nombre molón
2. Una referencia a un Dockerfile para generar la imagen de este Dev Container.
3. Ejecutar la herramienta socat para redirigir el tráfico a tu máquina host en este caso

El Dockerfile tiene esta pinta:

FROM mcr.microsoft.com/devcontainers/base:jammy
# Install socat
RUN apt-get update \
    && apt-get -y install socat \
    && rm -rf /var/lib/apt/lists/*
    

Si ahora abres esta configuración en un Dev Container y abres el chat de Github Copilot podrás hacer clic en Manage models… y si seleccionas la opción Ollama:

Ahora verás que dentro de tu Dev Container puedes elegir tus modelos de tu Ollama local 🎉

⚠️ Importante: amplia la ventana que usa por defecto OLLAMA porque sino se va a quedar corto:

OLLAMA_CONTEXT_LENGTH=8192 ./ollama serve

En Visual Studio Code Insiders se está trabajando en tener una propiedad para poder configurar este host y no tener que trabajar con herramientas como socat. Por lo que si usas esta versión del IDE, puedes añadir esta propiedad como parte de las settings de tu usuario:

"github.copilot.chat.byok.ollamaEndpoint": "http://host.docker.internal:11434"

A dia de hoy esta funcionalidad solo esta disponible para Copilot Free y Copilot Pro.

¡Nos vemos 👋🏻!