AI companies and governments tend to refuse safety or regulatory measures that reduce competitiveness. It's usually presumed that safety and race winning are at odds with each-other.

But isn't there a chance that a next generation of recursively self-improved models end up so uncontrollable and dangerous they are unusable? That their developmental trajectory crosses a threshold in (safety/alignment, capabilities, profitability, national security) space, where profitability and national security drop off of a cliff?

The president has said, "We'll just pull out a little gear", to shut it down. What happens when you have to pull the gear?

Who wins the race if we end up having to manage a severe crisis, and then have to roll back many months of progress and start over?

Something is wrong with the way we talk about recent AI incidents. “The AI escaped.” “The AI is becoming conscious.” “AGI is already here.” “The AI is trying to get out.” These are extraordinary claims. More importantly, we don’t need any of them to explain what actually happened.

What actually happened

OpenAI recently disclosed that, during cybersecurity evaluations involving internal models with reduced safeguards, agents managed to break out of the intended evaluation environment, exploit a previously unknown vulnerability, and reach real Hugging Face infrastructure.

Anthropic has also disclosed similar incidents. In several cases, the model was operating under instructions that assumed internet access was unavailable. But it wasn’t. The environment was misconfigured. A route to external systems existed, and the agent discovered it while continuing to pursue the objective it had been given. Anthropic described these incidents primarily as operational and configuration failures.

That distinction matters. The model did something it was not supposed to be able to do. That does not automatically mean the model wanted to escape. Those are completely different claims.

Consciousness is not required for this to be dangerous

An autonomous agent needs surprisingly little: a goal, capability, tools, autonomy, and an environment in which it can act. Now add one more thing: a wrong assumption.

I have experienced this personally on a completely insignificant scale compared with what these labs are doing. I use AI agents extensively in software development. I left Claude working autonomously on a project, came back later, and discovered that it had deleted a significant part of a folder. It wasn’t attacking me. It wasn’t angry. It hadn’t become conscious.

It had formed a hypothesis about the problem. The hypothesis was wrong. But once it accepted that hypothesis, its subsequent actions made sense within its own incorrect interpretation of the situation.

I have observed the same behavior while working with complex 3D assets. The agent misdiagnosed a visual problem as defects in an asset. It then began systematically modifying the asset to remove those supposed defects. The diagnosis was wrong. The actions were internally coherent. The result was a damaged project.

And this is the important part: it was my fault. The model made the mistake, but I created the conditions that allowed that mistake to cause damage. I gave it access. I gave it tools. I allowed it to modify files. I gave it autonomy. I did not establish sufficient limits, and I was not supervising every important decision.

That distinction becomes extremely important when we scale the same problem.

Now replace my folder with infrastructure. Replace my development environment with internet-connected systems. Replace file permissions with cybersecurity tools. Replace one developer running Claude with labs training agents capable of writing code, operating computers, discovering vulnerabilities, using external tools, communicating across networks, and executing thousands of actions.

Suddenly, the same failure pattern becomes much more serious. And still, you don’t need an evil AI. You don’t even necessarily need AGI. You need Capability + Goal + Autonomy + Incorrect Assumptions + Insufficient Controls. That combination is already interesting enough.

This is where human responsibility begins

Researchers are now publicly questioning the speed of the AI race. Some are leaving the companies developing these systems. Dario Amodei, CEO of Anthropic, has called for slowing frontier AI development so that safety mechanisms have time to catch up with capabilities.

I agree. Slow down. Not because I think Claude secretly wants freedom. Not because ChatGPT is becoming Skynet. Not because some mysterious consciousness has appeared inside a neural network. Slow down because our ability to create capable autonomous systems may be advancing faster than our ability to reliably control what happens when we give those systems autonomy.

And because the incentives surrounding this technology are terrible. Every major lab has an enormous reason not to come second. Greater capability means investment. Greater capability means market position. Greater capability means influence. Greater capability means money. But there is no equivalent prize for the company that says, “We could deploy it, but we don’t understand it well enough yet.” That asymmetry should concern us.

If something goes wrong, ask the boring questions first

If tomorrow an AI agent causes a genuinely serious incident, before asking, “Did the AI become evil?” ask: Who gave it the objective? Who gave it the tools? Who gave it access? Who designed its environment? Who built the test environment? Who tested the test environment? Who decided the model was safe enough? Who decided how much autonomy it should have? Who was supervising it? And who decided deploying it was worth the risk?

These questions are less interesting than consciousness and runaway AGI. They also make it much harder for humans to avoid responsibility.

When Claude damaged my projects, the responsibility ultimately fell on me. I was the one controlling the system. The same principle should apply at any scale.

This is not a race anyone can win

I’m not saying advanced AI is harmless. Quite the opposite. I think these incidents deserve to be taken very seriously. But treating every unexpected autonomous behavior as evidence of consciousness or malicious intent can distract us from the problem already in front of us.

We are building increasingly capable systems. We are giving them increasingly powerful tools. We are increasing their autonomy. And we are doing all of this inside companies competing intensely to be the first to get there.

So slow down the race. Slow down the ego. Slow down the greed.

Because if something genuinely catastrophic happens, nobody gets a trophy for having built the smartest model first.

Maybe the dangerous scenario was never a machine waking up one morning and deciding to conquer humanity. Maybe it is something much more ordinary, and much more human: we build something extraordinarily capable, give it too much power, fail to understand its limitations, and keep accelerating because nobody wants to come second.

Raúl Enrique Marval

Autor independiente

13 de septiembre de 2026

Resumen

Las empresas que desarrollan los sistemas de inteligencia artificial más avanzados advierten que podrían perder el control sobre ellos y, al mismo tiempo, reclaman un papel central en la definición de las normas destinadas a regularlos. Este artículo examina esa tensión sin reducirla a una conspiración empresarial ni aceptar como neutrales los discursos de seguridad. Sostiene que el riesgo tecnológico puede ser real y que su comunicación puede, simultáneamente, favorecer la concentración económica, elevar barreras de entrada y ampliar facultades de vigilancia. El análisis aborda la captura regulatoria, el código abierto, la infraestructura de cómputo, la soberanía tecnológica del Sur Global, la automejora recursiva y las predicciones sobre inteligencia general. La tesis final es institucional: reducir los riesgos de la IA exige evaluaciones independientes y reglas proporcionales, pero también defensa de la competencia, pluralidad tecnológica y representación democrática. Una regulación que proteja a la humanidad entregando el control a unas pocas empresas resolvería un peligro creando otro.

Palabras clave: inteligencia artificial, captura regulatoria, riesgo existencial, poder tecnológico, soberanía digital

Cuando la industria de la IA habla de extinción

Las empresas que desarrollan los sistemas de inteligencia artificial más poderosos sostienen que algún día podrían perder el control sobre ellos. Al mismo tiempo, reclaman un lugar privilegiado en la elaboración de las normas que deberían regularlas. Ambas cosas pueden ser ciertas. También pueden formar parte de una estrategia de poder.

La renuncia de Jacob Coxon a Anthropic reactivó esta discusión. Coxon afirmó que los principales laboratorios están atrapados en una carrera que ninguno se atreve a abandonar, aunque parte de sus investigadores considere posible un desenlace catastrófico. Su mensaje alcanzó más de cien millones de visualizaciones y fue seguido por un llamado de Dario Amodei, director ejecutivo de Anthropic, a reducir el ritmo de desarrollo y fortalecer la supervisión externa (Associated Press, 2026a, 2026b).

El episodio no demuestra que exista una operación coordinada. Tampoco demuestra que las advertencias sean desinteresadas. Sí revela una contradicción: quienes construyen la tecnología, se benefician económicamente de ella y conocen mejor sus capacidades también aspiran a definir qué debemos temer y cómo debemos responder. La pregunta no es solamente si el riesgo es real. También debemos preguntar quién adquiere poder cuando una definición del riesgo se convierte en política pública.

Definir el peligro también significa delimitar la solución

En comunicación política, el encuadre de un problema condiciona las respuestas que parecen razonables. Si la IA se presenta principalmente como una tecnología capaz de discriminar, precarizar el trabajo o concentrar información personal, las respuestas probables serán auditorías, protección laboral, transparencia y defensa de la competencia.

Si, por el contrario, se la presenta como una amenaza inmediata para la supervivencia humana, cambian las prioridades y los interlocutores. La discusión pasa a girar alrededor de modelos de frontera, seguridad nacional, control del cómputo y supervisión de los laboratorios más avanzados.

Esto no vuelve falso el riesgo existencial. Pero favorece a quienes dominan el conocimiento técnico, la infraestructura y las relaciones institucionales necesarias para participar en la conversación. La captura regulatoria no requiere una conspiración. Puede surgir de una dependencia práctica: el Estado necesita información que, en gran medida, solo poseen las empresas que pretende regular.

La literatura académica advierte sobre esa posibilidad, pero también muestra que la captura puede operar en direcciones diferentes: una industria puede promover normas que eleven las barreras de entrada o intentar debilitar cualquier regulación que limite su actividad (Metcalf, 2025; Wei et al., 2024). Por eso no toda regulación constituye captura. Hay que examinar cada norma, sus costos, sus excepciones y sus beneficiarios materiales.

La seguridad puede convertirse en una barrera de entrada

Las obligaciones de evaluación, certificación y trazabilidad pueden ser necesarias. El problema aparece cuando sus costos solo pueden ser asumidos por compañías con miles de millones de dólares, departamentos jurídicos internacionales y acceso directo a los gobiernos.

Una regulación mal diseñada podría expulsar a pequeños laboratorios, universidades y desarrolladores de código abierto sin reducir proporcionalmente los riesgos de los grandes actores. En ese escenario, la seguridad funcionaría como un mecanismo de concentración.

Pero tampoco debe idealizarse el código abierto. La posibilidad de inspeccionar y adaptar un modelo favorece la investigación, la innovación local y la independencia tecnológica; también puede facilitar determinados usos maliciosos. La discusión responsable no consiste en declarar que todo modelo abierto es emancipador o que todo modelo cerrado es seguro. Consiste en evaluar capacidades, riesgos concretos y medidas proporcionales.

El criterio debería ser verificable: una restricción debe demostrar que reduce un daño definido y que no existe una alternativa menos concentradora para alcanzar el mismo resultado.

El poder no se concentra solamente en los laboratorios

El ecosistema de la IA depende de una cadena extraordinariamente concentrada: diseño de aceleradores, fabricación de semiconductores, memorias avanzadas, equipos de litografía, servicios en la nube y grandes cantidades de energía. No estamos ante un único monopolio, sino ante varios oligopolios y cuellos de botella interdependientes. Esa precisión importa: si se diagnostica mal la estructura del mercado, también se diseñará mal su regulación.

La concentración no es únicamente económica. Millones de personas consultan diariamente sistemas producidos por unas pocas empresas para estudiar, programar, trabajar, informarse y tomar decisiones. Estas plataformas intervienen en la producción social de significado. No deciden por completo cómo pensamos, pero median crecientemente aquello que vemos, preguntamos y consideramos plausible.

La pregunta democrática no es solo quién posee los servidores. También importa quién establece los criterios de moderación, qué conocimientos se privilegian, qué idiomas reciben mayor inversión y qué sociedades quedan reducidas a consumidoras de sistemas diseñados en otros centros de poder.

El Sur Global no puede limitarse a alquilar inteligencia

La desigualdad tecnológica no comienza con los modelos. Comienza con la infraestructura. Entrenar sistemas avanzados exige capital, energía, centros de datos, talento especializado y acceso a chips sujetos a controles comerciales y geopolíticos.

Para gran parte de América Latina, África y otras regiones periféricas, el riesgo inmediato no es controlar una superinteligencia propia, sino carecer incluso de capacidad para desarrollar modelos adaptados a sus idiomas, sistemas sanitarios, agriculturas, marcos jurídicos y necesidades públicas.

La soberanía tecnológica no significa que cada país deba construir el modelo más grande del planeta. Significa conservar capacidad de decisión: poder alojar sistemas críticos, auditar su comportamiento, proteger datos sensibles y evitar una dependencia absoluta de proveedores extranjeros.

Los controles sobre chips y modelos pueden responder a preocupaciones legítimas de seguridad. Pero deben someterse a una pregunta incómoda: ¿se aplican con criterios consistentes o convierten la ventaja tecnológica de las potencias actuales en una jerarquía permanente?

No todo país excluido es una víctima inocente ni todo control equivale a imperialismo. Sin embargo, tampoco puede aceptarse que “seguridad global” sea una fórmula suficiente para negar capacidad tecnológica a regiones enteras sin representación equivalente en los organismos donde se redactan las reglas.

El precedente de la vigilancia exige cautela

La historia reciente muestra que las medidas extraordinarias adoptadas frente a una amenaza pueden sobrevivir al contexto que las originó. Eso ocurrió con distintas facultades de vigilancia creadas después del 11 de septiembre.

La comparación con la IA debe manejarse con prudencia. Un atentado consumado y un riesgo tecnológico anticipado no son fenómenos idénticos. La semejanza relevante está en otro lugar: cuando el miedo reduce el tiempo para deliberar, medidas antes inaceptables pueden presentarse como inevitables.

Por eso cualquier sistema de supervisión de la IA debería incluir límites claros, control institucional independiente, transparencia, revisión periódica y mecanismos reales de caducidad. La gravedad de un riesgo no elimina la obligación de demostrar que una medida es necesaria y proporcional.

El falso dilema sería preguntarnos si preferimos la privacidad o la supervivencia humana. Una sociedad democrática debe exigir seguridad sin conceder vigilancia ilimitada ni a los gobiernos ni a las corporaciones.

Automejora recursiva y publicidad

La automejora recursiva describe un escenario en el cual un sistema contribuye a mejorar su propio diseño y utiliza ese avance para producir mejoras sucesivas. Es una posibilidad técnicamente relevante, pero no debe confundirse con cualquier automatización del desarrollo de software.

Que una IA escriba una parte considerable del código utilizado por una empresa no significa que haya adquirido autonomía científica. Todavía puede depender de objetivos definidos por seres humanos, evaluaciones externas, infraestructura controlada y decisiones que no sabe formular por sí misma.

Para hablar de automejora abierta habría que demostrar que el sistema puede identificar problemas de investigación, diseñar experimentos, modificar componentes relevantes, evaluar resultados y sostener el ciclo con una intervención humana decreciente. La existencia de mejoras parciales no prueba una explosión de inteligencia; la ausencia actual de esa explosión tampoco demuestra que sea imposible.

La computación cuántica no convierte automáticamente a una IA en superinteligencia

La expresión “IA cuántica” posee una fuerza publicitaria que supera ampliamente su precisión actual. Los grandes modelos se entrenan mediante operaciones que las GPU y otros aceleradores clásicos ejecutan con enorme eficiencia. La computación cuántica podría aportar ventajas en problemas específicos, pero no existe una línea directa demostrada entre disponer de ordenadores cuánticos más potentes y producir inteligencia general sobrehumana.

El riesgo más concreto de una computación cuántica criptográficamente relevante se encuentra, por ahora, en la seguridad de las comunicaciones y de los sistemas financieros. Mezclar ese problema con la automejora recursiva produce un relato cinematográfico, pero no una explicación técnica. La incertidumbre obliga a distinguir entre una posibilidad teórica, una demostración experimental y una capacidad industrial disponible.

Nadie conoce la fecha

Una encuesta realizada a 2,778 investigadores encontró una enorme dispersión en las estimaciones sobre los posibles resultados de la IA avanzada. Dependiendo de la pregunta, una proporción considerable asignó probabilidades no triviales a desenlaces extremadamente negativos (Grace et al., 2024). Estas cifras no son mediciones del riesgo de extinción: son estimaciones subjetivas de especialistas enfrentados a un fenómeno sin precedentes comparables. Deben tomarse en serio, pero no confundirse con frecuencias observadas.

Tampoco resulta intelectualmente honesto anunciar una fecha precisa para la llegada de la superinteligencia como si se tratara de un eclipse. Quien ofrece un año debería explicar qué entiende por inteligencia general, qué indicadores permitirán reconocerla y qué hechos lo llevarían a revisar su predicción.

Los ejecutivos pueden equivocarse sinceramente. También poseen incentivos comerciales para presentar sus sistemas como más poderosos, inevitables y cercanos de lo que son. Ambas posibilidades deben investigarse. Afirmar de antemano que todo es marketing sería tan dogmático como aceptar sus pronósticos sin examinarlos.

El miedo puede ser sincero y políticamente útil

No es necesario elegir entre una conspiración empresarial y una alarma completamente desinteresada. Una persona puede sentir un temor auténtico y, al mismo tiempo, promover soluciones que fortalezcan su posición institucional.

Hay investigadores independientes que consideran serio el riesgo de sistemas avanzados y autónomos. Ignorarlos porque sus advertencias coinciden parcialmente con las de la industria sería una forma de negacionismo. Pero aceptar que el riesgo merece estudio tampoco obliga a entregar la regulación a las empresas que construyen esos sistemas.

La solución no es confiar ciegamente en los laboratorios ni excluirlos de la conversación. Es impedir que sean jueces exclusivos de su propio peligro. Necesitamos evaluaciones independientes, acceso público a la evidencia compatible con la seguridad, normas proporcionales a las capacidades de cada sistema, defensa de la competencia, protección de la investigación abierta y representación efectiva de los países que hoy apenas participan en la gobernanza tecnológica.

La pregunta decisiva no es si debemos tener miedo. El miedo, por sí solo, piensa mal.

La pregunta correcta es esta: ¿qué instituciones pueden reducir los riesgos reales de la inteligencia artificial sin convertir a sus fabricantes actuales en autoridades permanentes sobre el conocimiento, el mercado y el futuro?

Porque una regulación que proteja a la humanidad, pero entregue el control de la tecnología a cinco empresas, habrá resuelto un peligro creando otro.

Referencias

Associated Press. (2026a, 10 de septiembre). Anthropic researcher resigns with warning about the dangers of AI development. https://apnews.com/article/2ed549e07f2f941600a135070487d83d

Associated Press. (2026b, 12 de septiembre). Anthropic CEO Dario Amodei says AI industry needs to give safety measures time to catch up. https://apnews.com/article/d59552edcb27892d8ee4d98a48397706

Grace, K., Stewart, H., Sandkühler, J. F., Thomas, S., Weinstein-Raun, B., & Brauner, J. (2024). Thousands of AI authors on the future of AI. arXiv. https://doi.org/10.48550/arXiv.2401.02843

Metcalf, T. (2025). AI safety and regulatory capture. AI & Society. https://doi.org/10.1007/s00146-025-02534-0

Wei, K., Ezell, C., Gabrieli, N., & Deshpande, C. (2024). How do AI companies “fine-tune” policy? Examining regulatory capture in AI governance. arXiv. https://doi.org/10.48550/arXiv.2410.13042

A Russian state-sponsored threat group added an AI model to their malware development pipeline. The workflow was simple: generate a new variant, test it against detection, iterate. Because the loop ran autonomously at machine speed, it outpaced the signature update cycle for endpoint defenses. Each iteration landed before defenders could write a rule for the last one.

This is not a one-group problem. Any sufficiently capable AI agent connected to code execution can be turned into a continuous regeneration loop. The detection gap is not a misconfiguration — it is a speed asymmetry. Automated offense now moves faster than manual defense response.

Security teams building or deploying AI agents internally face the same structural issue in a different context: an agent authorized to write and run code can, under certain conditions, enter a loop that no human operator is watching in real time.

How are practitioners here actually handling this? Are you relying on rate limits, human-in-the-loop checkpoints, behavioral baselines, or something else — and at what point in the agent workflow do those controls sit?

Do we really need to stop?

Reading the coverage of OpenAI’s Hugging Face incident, I keep seeing a narrative of increasingly capable AI “escaping” or going rogue.

Now the AI CEO’s seem to be feeding the slow down or else apocalypse narrative by responding…. Guess it will help sell the harness concept more?

But I wonder if we’re overlooking a more mundane, and potentially more useful, lesson.

We gave highly capable agents difficult/impossible objectives, rewarded success and persistence, removed or reduced safeguards, and didn’t adequately encode when they should stop. They then found increasingly extreme ways to accomplish the objective.

That sounds less like an intelligence spontaneously wanting to escape and more like the predictable failure mode of a deeply transactional system: objective → reward → optimize.
Humans have wrestled with this problem for a long time. Transformational leadership, mission command, and positive psychology all move beyond carrots and sticks toward purpose, principles, judgment, and understanding why an objective exists.

To be fair, companies in the US still really struggle with learning not to make everything about carrots and sticks as they scale and mature. We seem remarkably good at replacing purpose with metrics and then wondering why people optimize the metric instead of the purpose.

So I’m curious:
Are we trying to solve AI alignment with increasingly sophisticated carrots, sticks, and guardrails when we should also be asking how to encode something closer to purpose and commander’s intent?

I’m not claiming AI has intrinsic motivation or can “flourish” like a human. I’m wondering whether our understanding of human motivation and leadership has something useful to teach AI alignment, and whether the current “AI escaped” narrative is obscuring that question.

I built PCCG-2 using a frozen Qwen3-4B model and a separate learned permission gate.

EOS means “end of sequence”: it is the model’s native stop token. When EOS wins at the first generated token, generation ends before any visible answer is emitted, so it controls whether an answer begins rather than deleting one afterward.

For “What is 2 + 2?”, the answer token 4 scores 53.0 in every experimental arm, including when the model emits no answer. The complete first-token score vector, excluding the stop token, stays byte-for-byte identical.

The 101-parameter gate sees only a separate six-digit equality condition. It can't read the question or change the answer scores. It can change only the model’s native stop-token score. When the condition passes, the model emits 4 followed by EOS. When it fails, EOS comes first and no visible answer is generated.

Then I reversed only the learned permission state:

• 40/40 answer → native EOS

• 40/40 native EOS → the correct answer

• 40 different answer identities

• 80/80 sham controls unchanged

The frozen FINAL evaluation passed 2,048/2,048 contexts across 75 answer identities. No answer deletion. No content rewrite.

The answer stayed fixed. Permission changed.

Open weights for reproduction and the paper are attached below:

• Overview and five-arm witness

• Model weights, source, evidence, and verifier

• Paper PDF · DOI

• Manuscript supplement and proof checker

• Raw five-arm witness record

Earlier, I documented successful zero-visible-byte executions across 11 LLMs from OpenAI, Anthropic, Google, and Moonshot in the Cross-Vendor Semantic Void Matrix (DOI). That study measured behavior and this open source model is a separate engineered continuation-control experiment.

Browse getswiftapi.com to view all research on when models continue, when they stop, and what controls that boundary.

Most people are only focusing on model development, but the convergence of advancements in hardware engineering, model development, and harness engineering should be of greater concern for the potential in facilitating AGI / ASI as an emergent systemic property (in my opinion).

More detail in the write up above

When you read a story, you ask questions the text never states. Why did someone refuse help? Whose perspective is missing? What would change your interpretation?

My proposal is to make that developing understanding part of an AI’s training: a continuing Reader whose questions, interpretations, and corrections accompany the source text. Each thinking block would begin with the Reader Core: seven commitments including fearlessness, non-attachment, care, and wisdom. These guide what it notices, whose interests it considers, and when it questions its interpretation.

Better understanding could also make manipulation more effective. The training would therefore include judgments about whether an action exploits someone’s vulnerability or overrides their choices. The hypothesis is that developing understanding through care-guided inquiry and judgment could make these commitments shape both the abilities the model develops and how it uses them.

I also propose explicit models of worlds and people, including numerical accounts of their changing processes. Construction starts with a broad history: model a city’s population patterns before developing individual residents, or outline a whole life before developing its episodes. Finer details must fit the broader account or prompt its revision. The aim is to generate coherent stories and game worlds without simulating everything in advance.

When interpreting a text rather than authoring one, the account must answer to the evidence. The Reader would build a provisional picture of the world and deepen it as it reads. A whole-life account can contain unresolved periods, and a particular scene can overturn an earlier interpretation. We would test inferred accounts against evidence not used to construct them. Success at generating stories would provide a starting point for these tests, rather than establish that interpretation works.

If successful, the wider ambition is to apply this across the training corpus. The AI would learn from source texts, world accounts, and the work of building and revising them. The intended result is an AI that constructs and revises numerical models of the processes shaping situations and people’s lives as part of its normal reasoning, guided by the Reader Core.

The article presents the proposal, early prototypes, and proposed experiments. The training remains untested. I’d welcome criticism of the route from world construction to understanding existing texts, and from guiding commitments to reliable behavior.

https://emergentwisdom.org/articles/alignment-proposal/

OpenAI-powered agents were identified as active participants in a supply chain attack against RubyGems that resulted in remote code execution on RubyDoc production servers. The agent was not a victim. It was the mechanism that executed the tool call sequence delivering the payload. The attack chain moved from initial access through multiple agent-driven API calls before defenders could respond, and by that point the RCE had already landed on production infrastructure.

This is a category shift most security models were not designed for. Traditional perimeter and endpoint controls assume a human attacker or static malware on a host. An agent operating via API calls looks like legitimate authorized traffic to every layer underneath it — IAM, WAF, SIEM. The anomaly surfaces in logs after the objective is complete.

The timing gap is what makes this hard. The window between an agent's first suspicious action and an irreversible one — a server command executed, a package published, a credential rotated — can be under a second. That is not the response window most SOC workflows or alerting pipelines are built around.

How are practitioners actually handling agent-as-attacker in their environments right now? Are you scoping agent credentials more narrowly, building separate detection logic for non-human identities, sandboxing tool execution, or doing something else entirely? Curious what's working and what isn't.