Como tener una IA OFFLINE en tu PC

Todo el mundo esta hablando de la IA y los usos que le podemos dar. Entre los modelos de Inteligencia Artificial más conocidos y usados podemos encontrar las siguientes (precios estimados a la fecha):

IA Conversacionales y Asistentes

DeepSeek

• DeepSeek Chat: Versión gratuita con límites diarios generosos
• DeepSeek API: Precios muy competitivos, significativamente más barato que OpenAI
• Modelos disponibles: DeepSeek-V3, DeepSeek-R1 (reasoning)

DeepSeek se ha posicionado como una alternativa muy atractiva por sus precios extremadamente competitivos en la API (hasta 95% más barato que GPT-4) y su rendimiento comparable a modelos premium. Su modelo DeepSeek-R1 compite directamente con o1 de OpenAI en tareas de razonamiento.

ChatGPT (OpenAI)

• Versión gratuita: GPT-3.5 con límites diarios variables
• ChatGPT Plus: $20/mes – GPT-4, GPT-4o, límites más altos
• ChatGPT Pro: $200/mes – acceso ilimitado y herramientas avanzadas

Claude (Anthropic)

• Versión gratuita: límites de conversación diarios
• Claude Pro: $20/mes – 5x más uso y acceso prioritario

Google Gemini (antes Bard)

• Gemini gratuito: uso limitado
• Gemini Advanced: $20/mes – modelo más potente y mayor límite

Microsoft Copilot

• Versión gratuita: GPT-4 con límites
• Copilot Pro: $20/mes para uso personal

IA Especializadas

Perplexity AI

• Versión gratuita: 5 consultas cada 4 horas con Copilot
• Perplexity Pro: $20/mes – 600+ consultas Copilot/día

Character.AI

• Versión gratuita: con límites de tiempo de espera
• Character.AI+: $9.99/mes – sin esperas y acceso prioritario

You.com

• Versión gratuita: límites diarios
• YouPro: $20/mes – modelos premium y más consultas

IA para Código

GitHub Copilot

• Individual: $10/mes
• Business: $19/usuario/mes

Cursor

• Hobby: $20/mes – 500 completaciones rápidas
• Pro: $40/mes – completaciones ilimitadas

Codeium

• Versión gratuita: uso individual ilimitado
• Teams: desde $12/usuario/mes

IA Generativa de Imágenes

DALL-E (OpenAI)

• Créditos gratuitos limitados mensualmente
• Paquetes de créditos de pago

Midjourney

• Sin versión gratuita permanente
• Básico: $10/mes – ~200 imágenes
• Estándar: $30/mes – imágenes ilimitadas (modo relajado)

Stable Diffusion (Stability AI)

• Versión gratuita disponible para uso local
• DreamStudio: sistema de créditos de pago

Adobe Firefly

• Créditos gratuitos mensuales limitados
• Planes premium desde $4.99/mes

Seguramente existen muchisimas más para otras cosas, pero la idea de este tutorial no es mostrar todas las existentes sino hacer un repaso de lo que hay, los precios y mostrarles Como tener una IA OFFLINE en tu PC

Lo vamos a hacer utilizando una maquina con gnu/linux en mi caso estoy usando ubuntu 24.04 y docker para no tener que instalar cosas en la maquina que despues queramos desinstalar etc etc.

Docker y docker-compose sobre ubuntu

Luego vamos a crear una carpeta que se llame como uds gusten y un docker-compose.yml adentro:

mkdir ia
cd ia
nano docker-compose.yml

Adentro del archivo vamos a escribir el siguiente codigo:

ersion: '3.8'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "11434:11434"
    volumes:
      - ollama_data:/root/.ollama
    environment:
      - OLLAMA_ORIGINS=*
    restart: unless-stopped
    healthcheck:
      test: ollama --version || exit 1
      interval: 10s
      timeout: 5s
      retries: 5

  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: openwebui
    ports:
      - "3000:8080"
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - WEBUI_SECRET_KEY=your-secret-key-here
      - WEBUI_AUTH=False
    depends_on:
      ollama:
        condition: service_healthy
    volumes:
      - openwebui_data:/app/backend/data
    restart: unless-stopped

volumes:
  ollama_data:
  openwebui_data:

Una vez que lo guardamos ejecutamos:

docker-compose up -d

Cuando termina vamos a tener funcionando a ollama que es una herramienta de código abierto que ejecuta grandes modelos lingüísticos (LLM) directamente en una máquina local. Ademas vamos a tener funcionando a Open Web UI que es interfaz web de código abierto y autoalojada diseñada para interactuar con modelos de lenguaje grandes (LLMs) como Ollama y APIs compatibles con OpenAI

Ollama no viene por defecto con ningun modelo de IA por lo que tenemos que bajar uno. Hay muchos modelos compatibles y los pueden ver en el siguiente enlace: https://ollama.com/search

Para bajar un modelo el comando es el siguiente:

docker exec ollama ollama pull NOMBREDELMODELO

Claro que tiene que poner el nombre del modelo que deseen. La verdad es que prove deepseek-r1 y con los recursos que tiene mi maquina se pone muy pesado (tengo un i7 10gen 16gb ram). Para una pregunta sencilla como fecha de actualización y si se podia conectar a internet tardo 2 minutos!

Para usar la IA cosa que no les explique hasta ahora, deben ingresar en localhost:3000 que es donde esta funcionando open web ui, y seleccionar el modelo a utilizar. OJO cada modelo pesa entre 2 a 5 gb.

Preguntando a otras ias para saber que me recomendaban para mi notebook todas concordaron que llama3.2:3b era lo recomendable asi que me lo baje asi:

docker exec ollama ollama pull llama3.2:3

Como ven a continuación esta corriendo en mi maquina, no tengo drama con el uso de ram ni cpu y contesta rapido:

No se si es lo mejor pero esta muy bueno para tenerlo con vos vayas a donde vayas. Tambien podes crear tu soft y usar la api, entonces en vez de open web ui utilizar algo que envie las preguntas tome la respuestas y las presente para el usuario.

Si sos usuario más avanzado tambien podes Crear un modelo personalizado! Aunque para crear uo necesitarás utilizar tecnologías de aprendizaje automático y procesamiento del lenguaje natural (NLP). Algunas opciones incluyen:

PyTorch o TensorFlow: Estas bibliotecas de aprendizaje automático son ideales para entrenar y mejorar tus propios modelos.

Transformers: Estos modelos de NLP son ideales para tareas como la generación de texto, la clasificación de textos y el reconocimiento de entidades nombradas.

Hugging Face Transformers: Esta biblioteca ofrece una variedad de modelos pre-entrenados que puedes utilizar como base para crear tus propios modelos personalizados.

Espero que les sirva o les sea util y de ser asi agradezco siempre que la comunidad apoye compartiendo el tutorial en sus redes!