IA Generativa y seguridad: casos reales que nos enseñan por qué debemos proteger los LLM

La inteligencia artificial generativa está revolucionando industrias, procesos y experiencias de usuario. Modelos como los LLM (Large Language Models) permiten automatizar la atención al cliente, generar contenido, analizar grandes volúmenes de datos y mucho más.

Sin embargo, ese mismo poder conlleva riesgos significativos. Los LLM pueden ser manipulados, filtrar información sensible o cometer errores costosos si no cuentan con medidas de seguridad adecuadas. A continuación, repasamos algunos casos reales que demuestran por qué la protección de estos sistemas no es opcional.

🚗 Caso Chevrolet: El chatbot que “vendió” un Tahoe por un dólar

En enero de 2024, un usuario puso a prueba el chatbot de una concesionaria Chevrolet y logró que le ofreciera un Chevrolet Tahoe—valuado en más de USD 70.000—por tan solo un dólar. ¿Cómo lo hizo? Mediante una técnica de prompt injection, ordenó al bot que aceptara cualquier propuesta del cliente y redactara un contrato legal en esos términos. Aunque el auto nunca fue entregado, el episodio se viralizó rápidamente y dejó en evidencia cuán vulnerables pueden ser estos sistemas sin barreras de seguridad específicas.

Fuente: https://www.upworthy.com/prankster-tricks-a-gm-dealership-chatbot-to-sell-him-a-76000-chevy-tahoe-for-ex1
https://futurism.com/the-byte/car-dealership-ai

💸 Filtraciones de datos internos en modelos LLM

Otro riesgo importante es la filtración de información sensible. Se ha documentado que los LLM pueden “recordar” o replicar datos confidenciales si estos fueron utilizados durante su entrenamiento o quedaron registrados en conversaciones anteriores.

Caso Samsung (2023): Ingenieros ingresaron código propietario en ChatGPT buscando ayuda para depurar errores. Esa información pasó a formar parte de las interacciones del modelo, con el riesgo de ser replicada en respuestas a otros usuarios.
https://www.forbes.com/sites/siladityaray/2023/05/02/samsung-bans-chatgpt-and-other-chatbots-for-employees-after-sensitive-code-leak/
https://haerting.de/en/insights/samsungs-chatgpt-leak-ai-risks-in-the-workplace/

🕵️ Prompt injection y jailbreaks: la nueva frontera del cibercrimen

Los ciberatacantes están perfeccionando técnicas de “jailbreaking” para eludir restricciones de los LLM y lograr que generen respuestas prohibidas, divulguen datos sensibles o realicen acciones no autorizadas. Caso WormGPT (2023): Creación de herramientas basadas en LLM diseñadas exclusivamente para cibercrimen, como redacción de correos phishing con lenguaje perfecto y personalizado.
https://abnormal.ai/blog/what-happened-to-wormgpt-cybercriminal-tools Caso de jailbreaks públicos: Usuarios lograron que LLMs entregaran instrucciones para fabricar explosivos, escribir malware o sortear controles de contenido.

⚠️ Estadísticas preocupantes

El 86 % de las organizaciones sufrió al menos un incidente de seguridad relacionado con IA en el último año.
Solo el 4 % se considera preparada para gestionar los riesgos que implica esta tecnología.

La inteligencia artificial generativa tiene un potencial enorme, pero también plantea desafíos críticos en materia de seguridad. Casos como los de Chevrolet, Samsung y WormGPT nos muestran que sin una protección robusta, los LLM pueden convertirse en vectores de riesgo para empresas, usuarios y la sociedad en general.

Incorporar medidas de ciberseguridad específicas para IA, establecer políticas de uso claras y auditar constantemente los modelos es imprescindible para aprovechar sus beneficios sin poner en juego la integridad de la información ni la confianza de los usuario