IA local con Ollama para documentos privados: cuándo compensa y cómo plantearlo en una pyme

La ventaja principal es el control cuando eliges un modelo descargado y un circuito íntegramente local: la inferencia puede hacerse sin enviar el documento a un servicio externo. Ollama también admite modelos en la nube; instalarlo no convierte automáticamente todos sus usos en privados. Para departamentos que manejan datos especialmente protegidos, eso simplifica mucho la conversación con quien se ocupa del cumplimiento normativo.

Conviene matizar, sin embargo, que ejecutar en local no equivale a cumplir automáticamente el RGPD. Siguen siendo necesarios el control de accesos, la gestión de copias, la información a los interesados cuando proceda y una decisión documentada sobre qué datos se procesan y para qué.

Tampoco resuelve todo lo demás. Un modelo local no se conecta por sí solo a tu correo ni a tu gestor documental; esas integraciones hay que construirlas o elegir una interfaz que las ofrezca, como Open WebUI.

Los modelos que caben en un ordenador de oficina son más pequeños que los grandes servicios en la nube. Para resumir, clasificar, extraer campos o responder preguntas sobre un documento concreto suelen ser suficientes. Para razonamientos largos, redacción muy cuidada o tareas con muchos pasos, la diferencia se nota.

La velocidad depende sobre todo de la memoria disponible y de la tarjeta gráfica. Un portátil sin gráfica dedicada puede ejecutar modelos pequeños, pero las respuestas tardarán. Un equipo con buena memoria unificada o una gráfica con memoria suficiente cambia por completo la experiencia.

Una prueba honesta antes de invertir: elige diez tareas reales del departamento, ejecútalas con un modelo local y con un servicio en la nube usando documentos ficticios, y compara. No fijes un porcentaje universal de aprobación: una respuesta peligrosa sobre una nómina puede pesar más que nueve resúmenes correctos. Decide antes qué errores obligan a detener el piloto.

Para que el modelo responda sobre una carpeta de documentos se suele usar recuperación aumentada: los textos se trocean, se convierten en vectores mediante un modelo de embeddings y, al preguntar, se recuperan los fragmentos más parecidos. La calidad de esta fase determina más el resultado que el modelo de lenguaje elegido.

Con documentos en español conviene elegir un modelo de embeddings multilingüe y probarlo con preguntas reales. Un modelo pensado solo para inglés puede recuperar fragmentos irrelevantes y hacer que un buen modelo parezca malo.

El troceado también importa. Contratos con cláusulas numeradas, actas o procedimientos funcionan mejor si los fragmentos respetan la estructura del documento en lugar de cortar cada cierto número de caracteres.

Ollama es gratuito, pero el proyecto no. Hay que contar el hardware, el tiempo de quien lo configura, las actualizaciones de modelos, las copias de seguridad del índice documental y la formación del equipo. En una pyme, el coste más relevante suele ser el tiempo de la persona que lo mantiene.

Frente a eso, un plan empresarial en la nube con garantías contractuales sobre los datos puede ser más barato y más capaz. La IA local compensa cuando el volumen de documentos sensibles es alto, cuando hay restricciones contractuales para usar servicios externos o cuando la organización ya tiene alguien con perfil técnico.

Semana uno: elegir un único caso de uso acotado, por ejemplo consultas sobre el convenio colectivo y las políticas internas de recursos humanos. Semana dos: instalar en un equipo dedicado, cargar los documentos y definir quién tiene acceso.

Semana tres: recoger preguntas reales del equipo y anotar cuándo la respuesta es correcta, incompleta o errónea. Semana cuatro: decidir con esos datos si se amplía, se cambia de modelo o se descarta.

Lo que no conviene hacer es empezar conectando todo el servidor de archivos. Un piloto pequeño con resultados medidos convence más y expone menos información.

Un proyecto local puede dejar de serlo en un paso que nadie mira. Dibuja la ruta completa: carpeta de origen, extracción de texto, OCR si hace falta, generación de embeddings, almacenamiento del índice, recuperación de fragmentos y modelo que redacta la respuesta. Para cada paso escribe dónde se ejecuta y qué servicio recibe información. Un modelo local con embeddings externos sigue enviando contenido fuera.

Comprueba también las funciones de la interfaz. Búsqueda web, conectores, proveedores alternativos y sincronización pueden introducir comunicaciones externas. La documentación de Ollama diferencia modelos locales y modelos cloud; por tanto, revisa el nombre y el destino efectivos del modelo, no solo el programa instalado. Si necesitas un entorno sin salida, pide al responsable técnico que lo configure y valide como tal.

El índice documental merece las mismas medidas de protección que los archivos. Puede contener fragmentos de nóminas, contratos o información identificativa, y no se vuelve anónimo por transformarse en vectores. Define quién puede consultar cada colección y evita un único índice compartido cuando los documentos originales tienen permisos diferentes.

Piensa en el mantenimiento desde el principio: quién elimina un documento del índice cuando deja de estar autorizado, qué ocurre al restaurar una copia y cómo se comprueba que un usuario revocado ya no puede acceder. No hace falta empezar con una arquitectura compleja, pero sí dejar estas responsabilidades asignadas antes del piloto.

Prepara un conjunto pequeño de tareas representativas y otro de casos que no deberían resolverse: preguntar por una persona sin permiso, pedir una cláusula inexistente o solicitar instrucciones ajenas a los documentos. Evalúa tanto la calidad de la respuesta como el respeto a la separación de información. Un piloto que resume bien pero revela una carpeta restringida no está listo para crecer.

Las instrucciones dentro de un documento tampoco deben tratarse como órdenes del sistema. Un archivo puede incluir una frase que pida ignorar las reglas, revelar otros datos o enviar información. Si incorporas automatizaciones, limita sus acciones y verifica las autorizaciones fuera del texto generado. La revisión humana es especialmente necesaria antes de enviar correos, modificar registros o compartir resultados.

Para valorar el coste, suma horas de instalación, soporte, revisión, renovación del equipo y gestión de incidencias. Compáralas con una alternativa empresarial autorizada bajo el mismo nivel de exigencia. No compares una solución local con permisos, copias y soporte frente a una cuenta personal sin garantías: serían dos propuestas de alcance distinto.

Amplía solo cuando tengas un responsable de mantenimiento, respuestas aceptables en los casos previstos y una política para los errores graves. Si la carga diaria obliga a revisar cada respuesta desde cero, quizá el caso de uso no esté bien acotado. Cambiar a clasificación o búsqueda de fragmentos puede aportar más valor que insistir en un asistente que pretende contestarlo todo.