Facundo Balmaceda, referente de SONDA, advierte sobre el «shadow AI» y el uso de chatbots gratuitos sin control, que ya generan filtraciones de información sensible en las empresas.
Cada octubre, el Mes de la Ciberseguridad convoca a personas y organizaciones de todo el mundo a repensar cómo protegen su información y qué tan seguros son, en realidad, los hábitos digitales que ya dan por naturales. Este año, la conversación tiene un protagonista ineludible: la inteligencia artificial, cuya adopción masiva y veloz abrió una puerta que muchas empresas todavía no terminaron de entender, y mucho menos de controlar.
La IA entró por la ventana
El primer problema es de origen: la tecnología llegó a las compañías antes que las políticas para regularla. «La IA generativa entró a las empresas por la ventana, no por la puerta principal: la adoptaron los empleados antes que los equipos de sistemas», explica Facundo Balmaceda, referente de SONDA. «Eso significa que hoy tenemos modelos tomando decisiones y procesando datos sin que exista un marco claro sobre qué información pueden ver o qué acciones pueden ejecutar».
Esa falta de marco habilita lo que se conoce como shadow AI: el uso de herramientas de inteligencia artificial fuera del control del área de sistemas, con consecuencias que van desde filtraciones hasta decisiones sesgadas. El caso más habitual, señala el especialista, ni siquiera parece un ataque: es un empleado que copia un contrato o una base de clientes en un chatbot gratuito para agilizar una tarea, sin saber que esa información ya salió del perímetro de control de la empresa.
Frente a este panorama, Balmaceda insiste en que el punto de partida no es elegir una plataforma de IA, sino clasificar la información: «La clave es la gobernanza de datos. Antes de preguntarse qué herramienta utilizar, la empresa debe tener identificado qué información es crítica, cuál es sensible y cuál es pública. En criollo, no se trata de prohibir la IA, sino de establecer reglas claras».
Los desarrollos a medida tampoco están exentos de riesgos: «Un chatbot corporativo mal desarrollado es como dejar una puerta trasera abierta en la recepción de tu empresa», compara el ejecutivo, sobre todo cuando falta segmentación entre la información que el bot puede consultar y la que debería mostrar, o cuando no hay controles frente a las inyecciones de prompt.
Texto invisible y decisiones delegadas
Otro fenómeno que crece, en especial en Recursos Humanos y en cotizaciones comerciales, es el uso de texto oculto en documentos —como letras blancas sobre fondo blanco o tamaños de fuente invisibles— para intentar manipular el análisis de una IA e influir en la selección de un candidato o de un presupuesto. El riesgo, aclara Balmaceda, no es que el sistema «obedezca» a ciegas esas instrucciones, sino que puedan sesgar el resultado si no hay supervisión humana ni herramientas capaces de detectar ese contenido oculto.
Para el especialista, lo más preocupante no es la tecnología en sí, sino la velocidad con la que se delegan decisiones sin mantener un control humano efectivo, como la aprobación de créditos, el filtrado de postulantes o la gestión de accesos: «Cuanto mayor es el impacto de una decisión sobre un cliente, un empleado o el negocio, mayor debería ser el nivel de supervisión humana. La IA puede acelerar procesos, pero la responsabilidad final no debería dejar de estar en manos de las personas». En el sector público, agrega, la vara debería ser todavía más alta, con auditorías independientes, trazabilidad completa de las decisiones automatizadas y soberanía sobre dónde se procesan los datos del Estado.
Del chatbot gratuito al entorno controlado
Frente al riesgo de las plataformas gratuitas, Balmaceda pone como ejemplo soluciones empresariales como Copilot de Microsoft, que operan dentro de un entorno con controles de seguridad y gobernanza definidos por la organización, donde los datos no se usan para entrenar modelos públicos.
De cara a los próximos años, anticipa una región donde la transformación digital seguirá corriendo más rápido que la maduración en seguridad de buena parte de las organizaciones. «El rol de un integrador como SONDA es ser ese puente: ayudar a cada empresa a innovar con la gobernanza, los controles y la capacitación necesarios para que la transformación digital no termine siendo la puerta de entrada del próximo incidente», afirma.
«A la inteligencia artificial le dimos un poder enorme, pero todavía no le pusimos el mismo nivel de responsabilidad. Esa distancia, hoy, es la vulnerabilidad más grande de todas», finaliza Balmaceda.
