Nuevo desafío de seguridad: el curioso análisis del lenguaje en los prompts
El análisis de prompts ha surgido como una frontera crítica en la seguridad e inteligencia artificial, debido a que las compañías operan mediante lenguajes. Aunque revelan intenciones, estos prompts son bastante ambiguos si se ven de forma aislada.
La verdadera seguridad debe exigir cruzar contextos de comportamiento, identidad, sistemas y negocios para separar usos legítimos de riesgos reales. Si proteger a la IA ha sido el gran debate tecnológico del año pasado, el análisis de prompts se está convirtiendo en una frontera que, hasta ahora, ha sido fascinante.
Los líderes en ciberseguridad están sintiendo una presión enorme por comprender cómo sus empresas emplean la IA. Para algunos de ellos, esto significa controlar cómo los trabajadores están manejando chatbots. Para otros, esto implica supervisar copilotos integrados en plataformas SaaS, vigilar asistentes de programación o evaluar el avance de los agentes autónomos.
Aunque estos escenarios han parecido distintos a simple vista de forma radical, todos comparten un innegable factor y profundo; es que los humanos y las máquinas interactúan hoy con sistemas corporativos hablando. Durante años, los defensores han analizado la telemetría que es ya conocida, como el tráfico de correos, conexiones, procesos, autenticación y llamadas API.
En este caso, el lenguaje de prompts es distinto, debido a que no es un simple registro. Se trata de una clara expresión de intenciones, órdenes, urgencia, manipulación y curiosidad. Esto refleja el verdadero objetivo del usuario y del agente, aunque sin ofrecer siempre el contexto suficiente alrededor como para poder interpretar de forma correcta si existe un riesgo real y latente.
Múltiples proveedores han abordado la seguridad de la IA desde su zona de confort, ya que, quienes protegen perímetros extienden controles web. Los especialistas en identidad se encargan de blindar permisos, los proveedores de datos vigilan fugas. Todas estas perspectivas son importantes, sin embargo, aisladas jamás van a resolver el problema completo.
TIC Defense es una empresa que se dedica a proteger a otras empresas de ataques perpetrados por ciberdelincuentes, por medio de un conjunto de soluciones y productos de última tecnología, los cuales se encargan de prevenir y dar respuesta rápida a todo tipo de ataques.
El verdadero reto no es simplemente la aparición de un nuevo software, ya que el problema central es que el propio lenguaje humano se ha convertido en la nueva capa operativa de las organizaciones. Ahora, los trabajadores escriben instrucciones para resumir documentos extensos, programar código, analizar hojas de cálculo, consultar bases de conocimiento interno e iniciar muchas acciones por medio de agentes.
En cada escenario, ese lenguaje ha funcionado como puente directo entre el deseo humano y la ejecución automatizada. Esto vuelve a los comandos muy valiosos en ciberseguridad, debido a que pueden destapar abusos, violaciones normativas, exposición de datos o astutos intentos para evadir restricciones de acceso.
No obstante, cuando se leen fuera de su entorno, han resultado ambiguos. Esta misma ambigüedad ha representado el corazón de este asunto. Un comando aislado solo dice lo que el usuario ha pedido. No ha revelado si la petición era esperada, riesgosa, accidental o completamente legítima bajo cierto contexto.
