LLMs locales y libres: las ventajas de un modelo local

Cada vez que un empleado envía a ChatGPT o similares un contrato o un documento de la empresa, estos datos salen de la organización y pueden utilizarse para entrenar futuras versiones del software de inteligencia artificial.

En septiembre de 2026, Andreas Thom, matemático de la Universidad Técnica de Dresde, denunció indignado que OpenAI, organización detrás de ChatGPT, había utilizado conversaciones privadas con la herramienta acerca de su trabajo matemático para proporcionar al modelo Astra la base con la que solucionar la conjetura de soficidad de Gromov (“Gromov's soficity conjecture”), un complejo problema matemático.

Aunque al principio OpenAI negó la mayor, la compañía acabó admitiendo en el marco de una disputa similar sobre las ecuaciones de “Navier-Stokes” que emplea “datos anonimizados” de las conversaciones de los usuarios para entrenar sus modelos. Esto explicaría por qué tiene acceso a conocimientos que, en teoría, no debería poseer.

Estos episodios, habituales desde la aparición de los modelos masivos de lenguaje, han llevado a diversas empresas a limitar el tipo de contenidos que el empleado puede compartir con ChatGPT u otros LLMs, e incluso algunas lo han llevado más lejos prohibiendo su uso por completo.

Así lo hizo Samsung en 2023 después de que sus ingenieros filtraran inadvertidamente datos confidenciales que incluían código fuente, programas de prueba de hardware y notas de reuniones internas. No dieron marcha atrás a esta decisión hasta tres años después, a mediados de 2026, una vez construida una capa de seguridad específica que incluía formación a todos los empleados sobre el uso de estas tecnologías. Además, Samsung desarrolló un enfoque híbrido, en el cual utiliza un modelo propio para usos más sensibles.

Otras compañías hicieron lo mismo en 2023, prohibiendo o limitando el uso de modelos de lenguaje externos, desde Apple a diversos bancos como Bank of America o el Deutsche Bank. Amazon afirmó también haber encontrado datos internos de la compañía como parte de las respuestas de ChatGPT, lo que apuntaría de nuevo a que el sistema fue entrenado con estos datos.

Las soluciones no tienen por qué ser tan radicales como prohibir el uso de modelos de lenguaje externos. Para muchos, parecería que solo existieran modelos como ChatGPT, Gemini o Claude, como si el envío de nuestros datos privados a “la nube” en la que habitan estos modelos fuera el precio inevitable de la productividad que supone el uso de IA en el día a día laboral. Pero existe otra posibilidad menos conocida, que es la de ejecutar un modelo de lenguaje directamente dentro de la empresa, sin depender de un proveedor externo. Esto es precisamente lo que hizo Samsung antes de permitir de nuevo el uso de modelos en la nube para labores menos problemáticas.

Del mismo modo que una empresa puede tener sus servidores web o de correo en su propia infraestructura, un modelo de lenguaje puede ejecutarse sin que sea necesario un acceso al exterior.

Modelos locales: privacidad y cumplimiento normativo

La principal ventaja que nos encontramos con el uso de modelos de lenguaje locales es la privacidad y control de los datos. La documentación interna, la información legal y los informes financieros, los datos de los clientes, el código fuente de lo programado e incluso las claves e información particularmente sensible que pueden deslizarse en una conversación; nada de eso supone un problema, porque nada sale de la infraestructura de la empresa. El conocimiento interno es protegido, incluyendo procedimientos, manuales, diseños o documentación técnica en las que muchas empresas basan su ventaja competitiva. Esto es crítico además en sectores regulados, como salud, legal o banca.

Esta localidad de la información también es importante a la hora de cumplir con las exigencias del RGPD (Reglamento General de Protección de Datos), que prohíbe la transferencia internacional de datos personales fuera de la UE sin garantías estrictas. Aquí la ventaja es obvia: si los datos no salen del perímetro de la empresa, no hay transferencias internacionales de datos.

Por su parte, el AI Act europeo impone obligaciones para sistemas considerados de alto riesgo (RRHH e información personal, puntuación crediticia, infraestructuras críticas), y los modelos locales hacen más sencilla la implementación de los planes de gestión de riesgos obligatorios desde agosto de 2026 en estos sistemas. El uso de un modelo local facilita enormemente cumplir con las exigencias de trazabilidad en el uso de estos sistemas de alto riesgo, al permitir registrar internamente todos los prompts, respuestas y metadatos.

Personalización

Otra gran ventaja del uso de modelos locales es la personalización. Ese conocimiento interno puede convertirse en capacidad del modelo, mejorando el uso de la ventaja competitiva. Uno puede adaptar el modelo a su organización, incluyendo los documentos internos y conocimientos en los que sea necesario que el modelo de lenguaje opere. Esto reduce drásticamente el riesgo de inventar datos (alucinaciones) al apoyarse en documentación real.

Aquí se incluye también la idea del RAG; el uso de un modelo de lenguaje interno al que se da acceso a los documentos de la compañía para que pueda responder apoyándose en ellos, actuando como un buscador avanzado de tipo semántico. Estos sistemas pueden ser extremadamente complejos y necesitarían su propio artículo, pero el núcleo se encuentra en la capacidad de llevar a cabo una búsqueda semántica entre los documentos de la compañía, es decir, una búsqueda que no opere tratando de encontrar palabras clave sino significados similares a lo buscado. El RAG hace al modelo más informado que otros no especializados.

Esto es quizá lo más valorado por las empresas respecto al uso local de LLMs. No es que en la nube no existan opciones parecidas (ChatGPT y otros permiten captar documentos), es que aquí los documentos nunca salen de la empresa y el control de quién accede a qué está completamente en manos de la organización.

La mayoría de empresas no necesitan que una IA conozca todo Internet, necesitan que conozcan sus propios procedimientos.

Otras cuestiones

Los modelos locales tienen otras muchas utilidades, como asistir en labores de soporte clasificando tickets con ayuda del historial, apoyar a los departamentos de legal y finanzas comparando contratos y extrayendo cláusulas, o redactar borradores de informes y propuestas.

Un modelo local también puede integrarse con el ERP (administración de los procesos internos operativos y financieros de la empresa), CRM (gestión de las interacciones con los clientes) o gestor documental de una organización respetando sus sistemas de autenticación y permisos.

Los costes pasan además a ser predecibles. En lugar de pagar suscripciones que crecen con el volumen de uso, la inversión se produce en la infraestructura sobre la que se instala el LLM. El proveedor no puede subir las tarifas unilateralmente, ni limitar el uso. Tampoco supone ningún problema si mañana un proveedor de IA quiebra, lo cual resulta especialmente cierto cuando se trata de modelos abiertos que otras compañías pueden retomar y actualizar.

No es oro todo lo que reluce: los retos

El primer reto es que montar un modelo de lenguaje local necesita una inversión en hardware. A esto se añade un coste de mantenimiento, tanto de la infraestructura como del software. El uso de un LLM local no es necesariamente más barato, especialmente si el uso que hace la organización es ocasional. Tiene sentido plantearlo particularmente cuando el uso de modelos de lenguaje es intensivo o se necesitan soluciones que tengan en cuenta particularidades de la empresa.

Los modelos más potentes del mercado siguen siendo además de nube, aunque la brecha se vaya cerrando rápidamente. Esto tiene la contrapartida de que el modelo local puede especializarse más, pues obviamente no es imprescindible que el modelo de lenguaje utilizado por una organización tenga conocimientos sobre poesía inglesa del siglo XIX.

En todo caso, a menudo las soluciones adoptadas son híbridas, utilizando un modelo de lenguaje local y otro en la nube para datos y operaciones menos sensibles. Pero un enfoque como este necesita también un cierto control de la información, y los empleados deben recibir una formación que les deje claro qué información puede o no salir de la empresa.

Modelos locales y libres

Hoy en día tenemos diversos modelos libres y abiertos. ¿Qué significa esto? Que pueden descargarse, ejecutarse, estudiarse y adaptarse a necesidades específicas. El software libre ha impulsado una enorme innovación en la informática, y gran parte de la infraestructura de Internet se ejecuta bajo software de este tipo, que cada cual puede modificar y adaptar.

No obstante, dentro de los modelos de lenguaje locales tenemos diversas licencias. Por ejemplo, Llama tiene licencia propia con condiciones, mientras que otros tienen licencias plenamente libres como Apache 2.0 o MIT.

Presentar una lista de modelos libres supone que este artículo se quedará anticuado tarde o temprano. Los principios acerca de por qué uno se decidiría a utilizar un modelo local o en la nube seguirán siendo los mismos, pero los proyectos concretos compiten y varían, lo que implica la necesidad de estar al día al respecto.

En líneas generales, los modelos para desplegar localmente son de dos tipos. Los modelos pequeños (7-8 mil millones de parámetros) funcionan en un portátil moderno, mientras que los grandes (70 mil millones) ya piden un servidor con una GPU dedicada de grado empresarial.

Así, algunas opciones de grado medio son:

• El modelo de 70 mil millones de Llama, estándar de la industria para despliegues corporativos privados por su equilibrio entre capacidad y coste. También ha influido en esto su origen norteamericano, que suele dar más tranquilidad legal a los departamentos legales y de cumplimiento normativo en Occidente. Tiene como gran problema su licencia comercial restrictiva, con cláusulas a ser revisadas por el departamento legal, aunque lo más problemático solo afecta a grandes multinacionales.
• Uno de los más eficientes en todo tipo de tareas es Qwen, desarrollado por Alibaba, y muy popular para tareas de código, matemáticas y soporte multilingüe. A menudo encabeza los rankings de calidad entre los modelos abiertos: aunque su adopción sea menor que la de Llama, suele superar a éste en los benchmarks en programación, matemáticas y lenguajes diferentes al inglés con la misma cantidad de parámetros. Su licencia es completamente abierta (Apache 2.0) y no impone ninguna restricción sobre su uso.
• Destaca también DeepSeek con su arquitectura de “Mezcla de Expertos” que activa solo una parte del modelo en cada consulta, llevando a un rendimiento de primer nivel en razonamiento a una fracción del coste habitual. Es una referencia técnica en razonamiento matemático y lógica compleja, particularmente para tareas de agentes de código, matemáticas, pipelines analíticos complejos o cuando se necesita la máxima inteligencia por dólar/GPU invertido. Su licencia es abierta tipo MIT.
• El sistema francés Mistral AI, opera bajo una licencia menos restrictiva y es particularmente apropiado a lenguajes europeos como la lengua española. Son modelos rápidos, con respuestas directas y concisas, ideal para pipelines donde la latencia baja es crítica. Utiliza también una licencia abierta Apache 2.0.

Hemos encontrado en nuestra experiencia que montar el sistema local es más fácil de lo que parece. Instalar un modelo y conversar con él está a un par de comandos de distancia con herramientas locales como las mencionadas, pero la complejidad del sistema reside en lo que viene después: la organización de documentos (que en muchas empresas se encuentran dispersos y duplicados), el establecimiento de un sistema coherente de permisos, y la determinación de cuáles son los procesos tediosos o problemáticos que pueden ser solucionados por un modelo de lenguaje.

Es decir, el verdadero reto es integrar la inteligencia artificial dentro de los procesos de una organización. Es conectar usuarios y permisos, documentos, ERP, CRM, bases de datos y procesos.

En Dreamsite, podemos ayudaros a evaluar si un modelo local encaja con vuestro caso y a definir qué utilidad concreta podría tener un modelo así para vuestra organización.