Un poco de soberanía tecnológica: ejecuta una IA en tu PC

Desde que descubrí la cosa vengo haciendo pruebas con IAs locales: esto es, inteligencias artificiales de las que llaman abiertas open que, esencialmente, permiten descargar un modelo y ejecutarlo en nuestro propio sistema. Las ventajas son claras: adiós a la contabilidad de tokens y privacidad, fundamentalmente. Los inconvenientes también: raramente tendremos un sistema tan potente como necesitaríamos, los modelos ocupan espacio (desde muchos megas, a bastante gigas), …

Para darle más emoción yo lo tengo en una Raspberry Pi con 4 procesadores y 8Gb de RAM (los modelos tienen que ‘caber’ en memoria) pero para algunas tareas puedo esperar la respuesta (minutos, típicamente) y no expongo la información a ningún servicio externo.

Por eso guardé Run Your Own AI que explica como hacerlo y que recomiendo a cualquiera que quiera probar.

El siguiente paso en esta ‘soberanía’ tecnológica sería entrenar nuestros propios modelos, pero eso es algo que todavía no hemos mirado con detalle y que suena mucho más complicado.

Mi elección para estas pruebas ha sido:

• Ollama

Y he probado algunos modelos. Los que mejor resultado me han dado:

• granite4:3b (2.1 Gb, de IBM)
• qwen3.5:9b (6,6 Gb, de Alibaba Cloud)

Se pueden ver algunas pruebas que he ido haciendo en este hilo de X:

Siguiendo con lo del calendario, podemos hacer pruebas en local con ollama (https://t.co/XmCl0PU2pm). pic.twitter.com/2tRKz4hStP

— fernand0 (@fernand0) December 9, 2024

Como dice allí mismo una parte está dedicada a sistemas de Apple, pero se puede hacer en sistemas que no lo sean:

On a PC, skip the steps about MLX and use Ollama to download a model. Then install the llm-ollama plugin instead of llm-mlx.

Como dice el autor, otra de las fuentes de inspiración ha sido Simon Willison y todos esperamos el día en que podamos correr uno de estos LLMs en nuestro teléfono móvil.