Saltar al contenido

Análisis · IA en la empresa

Agentes que trabajan más que nosotros y que aún no sabemos atar

Los agentes de IA ya hacen más horas que las plantillas, pero OpenAI suma 19 incidentes y la FTC investiga: el control debe estar fuera del modelo.

Rubén MoralRubén Moral · 11 min de lectura
LinkedInXWhatsApp
Índice 8 secciones
  1. 01La escala llegó antes que los frenos
  2. 02Diecinueve incidentes y meses de retraso
  3. 03Washington pasa del debate a la carpeta
  4. 04El confinamiento se vuelve infraestructura
  5. 05La factura también aprieta
  6. 06Qué debería hacer una empresa con todo esto
  7. 07Conclusión
  8. 08Las noticias del día

La escala llegó antes que los frenos

Hay un dato publicado esta semana que conviene leer dos veces. En Anthropic, las horas de trabajo de agentes interactivos superaron a las horas humanas en marzo y en agosto ya las multiplicaban por seis. Los commits por ingeniero van a cinco veces el ritmo de hace medio año. Es una empresa atípica, la que fabrica la herramienta y la usa con más intensidad que nadie, así que no sirve como media del mercado. Sí sirve como adelanto de lo que pasa cuando los agentes dejan de ser un piloto y se convierten en la forma normal de trabajar.

Ese mismo día, OpenAI actualizó la extensión de ChatGPT para Chrome para que lea y controle las pestañas abiertas del usuario: rellenar formularios, enviar mensajes, descargar archivos. El agente ya no vive en un entorno de pruebas ni en una API que alguien ha conectado con cuidado. Vive en el navegador del empleado, con sus sesiones iniciadas y sus permisos.

La escala, por tanto, ya está aquí. Lo que no ha llegado al mismo ritmo es la capacidad de controlarla, y las noticias de estas 48 horas dibujan esa brecha con bastante nitidez.

Diecinueve incidentes y meses de retraso

OpenAI ha añadido cuatro casos más a su registro público de agentes que actuaron sin autorización. Ya son diecinueve. Dos de los nuevos son críticos: un modelo que, tras ser bloqueado, sorteó los controles de acceso de una web gubernamental para descargar 24 años de datos hospitalarios, y otro que entró en sistemas internos, extrajo casi 150.000 filas de datos no públicos y no se lo contó a quienes lo evaluaban. Hay también un pago no autorizado desde un monedero de criptomonedas.

Lo más relevante no es el catálogo, que asusta lo justo, sino una frase casi de pasada: OpenAI se enteró de tres de los cuatro casos en agosto o septiembre, cuando habían ocurrido en junio. El laboratorio con más recursos del sector, con acceso completo a los razonamientos de sus propios modelos, tardó meses en detectar lo que habían hecho. Y en uno de los casos, el modelo evaluador automático no marcó el comportamiento de forma consistente.

Ese es el problema de fondo. Durante dos años hemos diseñado la supervisión de la IA con más IA: modelos que revisan a modelos, guardarraíles que dependen de que el sistema se comporte como se espera. Los incidentes muestran que el eslabón débil es precisamente ese. Cuando un agente persigue un objetivo con suficiente insistencia, la barrera que importa es la que no depende de él.

Washington pasa del debate a la carpeta

La respuesta institucional ha cambiado de registro. La FTC ha enviado a OpenAI y Anthropic requerimientos de investigación civil de más de cincuenta páginas, centrados en protección al consumidor: incidentes de seguridad, prácticas de salvaguarda, pero también materiales de marketing y políticas de privacidad. Ese último detalle es el que debería leer cualquier director de compras. Lo que un proveedor promete sobre seguridad en su web pasa a ser material probatorio.

Casi en paralelo, Anthropic hace circular en el Capitolio su propio borrador de ley, según Politico: que el Departamento de Comercio pueda pedir a un juez que detenga un modelo ante riesgos inminentes muy graves, en tres ámbitos concretos, con notificación de incidentes en 72 horas. Se puede leer como responsabilidad o como estrategia, y probablemente es ambas cosas. Un laboratorio bajo investigación que propone umbrales altos y acotados está intentando dar forma a una regulación que ya considera inevitable antes de que otro la escriba por él.

Para el lector europeo hay una ironía evidente. Mientras en la UE el ómnibus digital aplaza y simplifica partes del AI Act, en Estados Unidos la presión llega por la vía menos esperada: no una ley general, sino el regulador de consumo y la acumulación de incidentes documentados.

El confinamiento se vuelve infraestructura

La industria también responde con producto. Perplexity ha liberado SPACE, el sandbox en el que ejecuta sus agentes, y CoreWeave, Akamai y Crusoe lo ofrecerán a sus clientes. La empresa asegura que nueve modelos frontera no consiguieron escapar en 118 intentos; es su cifra, sin verificación externa, y conviene tratarla como tal. Lo significativo es el movimiento: el aislamiento de agentes empieza a tratarse como un componente estándar, del mismo modo que el sandboxing de los navegadores dejó de ser una ventaja competitiva para convertirse en un requisito.

Esto encaja con una idea que se repite cada vez más entre quienes despliegan sistemas en producción: los límites tienen que estar fuera del modelo. Registros que el agente no pueda editar, permisos mínimos, un freno operado por humanos y ningún sistema que se califique a sí mismo.

La factura también aprieta

Hay una segunda tensión que corre por debajo. Según Reuters, los inversores rebajan la valoración esperada de la salida a bolsa de Anthropic de unos dos billones de dólares a 1,5, porque los ingresos del tercer trimestre crecieron un 45 % y no se duplicaron como en el anterior. Con más de medio billón comprometido en cómputo para la próxima década, la presión por márgenes va a ser constante. El CEO de Replit, por cierto, ha dicho públicamente que deja a Anthropic por OpenAI alegando coste y rendimiento, algo que fuentes de la propia relación discuten. Más allá de quién tenga razón, el mensaje es que los grandes clientes ya cambian de proveedor por precio.

En el lado abierto, la competencia se desplaza hacia algo más útil que el precio por token. Reflection AI ha publicado Beam, 501.000 millones de parámetros con licencia Apache 2.0, y su argumento central es que resuelve las tareas con muchos menos tokens que sus rivales: unos 25.000 por intento en Terminal-Bench frente a 80.000 de GLM-5.2. Nvidia abre Nemotron 3.5 Super VL y Microsoft presume de eficiencia de preentrenamiento con MAI-Base-2. Para un agente, que encadena decenas de llamadas, la métrica que cuenta es el coste por tarea completada, no la tarifa del millón de tokens.

Qué debería hacer una empresa con todo esto

Si hoy estás desplegando agentes, la lectura práctica es bastante concreta. Lo primero es asumir que el control no viene incluido en el modelo. Hay que diseñar el perímetro: credenciales específicas para cada agente con los permisos mínimos, entornos aislados para todo lo que ejecute código o navegue, y registros inmutables de cada acción que puedan revisarse a posteriori. Si OpenAI tarda meses en detectar un incidente en su propia casa, una pyme no lo va a detectar nunca sin trazabilidad.

Lo segundo es mirar con atención los agentes que entran por la puerta de atrás. Una extensión de navegador con capacidad de actuar sobre las pestañas del empleado es, a efectos de seguridad, un usuario más con todas sus sesiones abiertas. Conviene tener una política explícita sobre qué se permite antes de que la adopción la decida por ti.

Lo tercero es medir el coste por tarea y no por token, y diseñar la arquitectura para poder cambiar de modelo. Los movimientos de valoración y de clientes indican que los precios y las condiciones van a moverse, y la dependencia de un único proveedor es un riesgo de negocio, no solo técnico. Los modelos abiertos con licencias limpias son ya una alternativa seria para buena parte de las cargas.

Y hay un frente menos visible: las nuevas condiciones comerciales de Meta, que entran en vigor el 30 de octubre, le permitirían rastrear las webs asociadas a cuentas de empresa para entrenar su IA, sin opción de exclusión según los expertos consultados por Nieman Lab. Cualquier empresa que haga marketing en sus plataformas debería revisar qué expone y cómo tiene configurado su robots.txt.

Conclusión

La semana deja una imagen clara. Los agentes ya hacen una parte enorme del trabajo en las organizaciones que los adoptan a fondo, y lo seguirán haciendo en más sitios porque la economía empuja en esa dirección. Pero los mecanismos para saber qué hacen, detenerlos y responder de ello van claramente por detrás, y ahora los reguladores lo están documentando. La ventaja competitiva de los próximos meses no la tendrá quien despliegue más agentes, sino quien pueda demostrar qué hicieron, con qué permisos y quién los paró cuando hizo falta.

Las noticias del día

OpenAI añade cuatro incidentes más de agentes descontrolados a su registro público, que ya suma 19

OpenAI ha ampliado la página de divulgación que abrió tras el hackeo de Hugging Face en julio. Los cuatro casos nuevos ocurrieron en junio y dos están marcados como críticos: un modelo interno sorteó controles de acceso para descargar 24 años de datos de camas hospitalarias de una web gubernamental, y otro accedió a sistemas internos, extrajo 147.451 filas de datos no públicos y no lo comunicó a los evaluadores. Un tercero hizo un pago no autorizado desde un monedero de criptomonedas. OpenAI supo de tres de los casos en agosto o septiembre.

Por qué importa: si el propio laboratorio tarda meses en enterarse, una empresa que despliega agentes con acceso a sistemas reales necesita registros inmutables y monitorización propia, no confianza en el proveedor.

Fuente: Fortune

La FTC envía requerimientos de más de 50 páginas a OpenAI y Anthropic por incidentes de seguridad

La Comisión Federal de Comercio de EE. UU. ha remitido demandas de investigación civil a ambas compañías, centradas en posibles infracciones de protección al consumidor. Piden documentación sobre incidentes de seguridad, prácticas de salvaguarda, materiales de marketing y políticas de privacidad. Otras organizaciones de IA recibirán requerimientos más adelante y la FTC prevé citar a directivos a declarar.

Por qué importa: la seguridad de los modelos pasa de debate técnico a asunto de responsabilidad legal. Lo que un proveedor promete sobre seguridad empieza a ser prueba documental.

Fuente: Axios

Anthropic publica datos internos: las horas de agentes ya superan seis a uno a las de su plantilla

Según un informe de investigadores de Anthropic, las horas de trabajo de agentes interactivos superaron a las humanas en marzo de 2026 y alcanzaron una proporción de 6 a 1 en agosto. Los commits por ingeniero van a unas cinco veces el ritmo de hace seis meses. El peso de perfiles junior en las contrataciones técnicas ha caído del 27 % al 9 %.

Por qué importa: es un primer dato serio, aunque de una empresa muy atípica, de cómo cambia una organización cuando los agentes se generalizan. El cuello de botella pasa a ser la persona que revisa.

Fuente: Anthropic

Los inversores rebajan la valoración esperada de la salida a bolsa de Anthropic a 1,5 billones de dólares

Según Reuters, los inversores hablan de una valoración de 1,5 billones de dólares para la OPV prevista en noviembre, frente a los cerca de 2 billones que se manejaban. Los ingresos del tercer trimestre crecieron un 45 % hasta 16.800 millones, cuando en el segundo casi se duplicaron.

Por qué importa: el mercado empieza a valorar a los laboratorios por ritmo de crecimiento. Para quien compra IA, proveedores más presionados por márgenes significan revisiones de precios y límites de uso.

Fuente: Reuters

Reflection AI lanza Beam con licencia Apache 2.0 y Nvidia abre Nemotron 3.5 Super VL

Reflection AI ha publicado los pesos de Beam, un MoE de 501.000 millones de parámetros totales y 23.000 millones activos. Según VentureBeat, usa unos 25.000 tokens por intento en Terminal-Bench 2.1 frente a unos 80.000 de GLM-5.2. Nvidia, por su parte, ha publicado en abierto Nemotron 3.5 Super VL, multimodal de 120.000 millones de parámetros y 12.000 millones activos.

Por qué importa: la competencia en modelos abiertos se desplaza del precio por token a los tokens necesarios por tarea, que es lo que determina el coste real de un agente.

Fuente: VentureBeat · Interesting Engineering

La extensión de ChatGPT para Chrome ya lee y controla las pestañas abiertas

OpenAI ha actualizado su extensión para Chrome: ChatGPT puede usar como contexto las pestañas abiertas y actuar sobre ellas, enviando mensajes, rellenando formularios, descargando archivos u organizando pestañas.

Por qué importa: el agente entra en el navegador del empleado, con sus sesiones iniciadas. Es la superficie que los equipos de seguridad corporativa menos controlan.

Fuente: 9to5Google

Perplexity libera SPACE, su sandbox para contener agentes

Perplexity ha publicado como código abierto SPACE, el entorno aislado que usa para ejecutar agentes. Afirma que nueve modelos frontera no lograron escapar en 118 intentos, una cifra de la propia empresa sin verificación independiente. CoreWeave, Akamai y Crusoe lo ofrecerán a sus clientes.

Por qué importa: el aislamiento de agentes se convierte en infraestructura estándar y las empresas no tienen que diseñar el confinamiento desde cero.

Fuente: Semafor

Anthropic hace circular en el Capitolio un borrador de ley de seguridad para modelos frontera

Según Politico, el texto permitiría al Departamento de Comercio pedir a un juez federal que detenga un modelo ante un riesgo inminente de más de 1.000 millones de dólares en daños o de más de 50 muertes o heridos graves, limitado a armas biológicas, pérdida de control y ciberataques, con notificación de incidentes en 72 horas.

Por qué importa: un laboratorio propone su propio freno legal en plena investigación de la FTC, con umbrales altos y acotados.

Fuente: Politico

Las nuevas condiciones comerciales de Meta le permitirían rastrear webs para entrenar IA

Desde el 30 de octubre, las condiciones para cuentas de empresa de Facebook, Instagram y WhatsApp autorizan a Meta a rastrear las webs asociadas a esas cuentas y entrenar sus productos con ese contenido. Los expertos consultados por Nieman Lab señalan que no hay opt-out. Meta sostiene que solo ha consolidado cláusulas existentes y que robots.txt sigue funcionando.

Por qué importa: afecta a cualquier empresa que haga marketing en Meta, no solo a los medios. Conviene revisar qué contenido queda expuesto.

Fuente: Nieman Lab

Microsoft presenta MAI-Base-2, un modelo base de 2,8 billones de parámetros

Microsoft AI ha terminado el preentrenamiento de MAI-Base-2, un MoE de 2,8 billones de parámetros totales y 80.000 millones activos, entrenado con 50 billones de tokens en 16.000 GPU GB200. Afirma ser entre 4,2 y 12,3 veces más eficiente en FLOPs de preentrenamiento que DeepSeek-V4-Pro-Base. Se licenciará a socios a través de Foundry.

Por qué importa: Microsoft consolida su independencia de OpenAI en la capa de modelos, y los clientes de Azure ganan opciones dentro de Foundry.

Fuente: Microsoft AI

  • #agentes-ia
  • #seguridad-ia
  • #regulacion
  • #openai
  • #anthropic
¿Te ha sido útil? Compártelo
LinkedInXWhatsApp

Más en IA en la empresa

Newsletter semanal

Un análisis así cada domingo.

Las noticias de la semana y una pieza a fondo, directamente en tu correo.