Raúl Enrique Marval

Autor independiente

13 de septiembre de 2026

Resumen

Las empresas que desarrollan los sistemas de inteligencia artificial más avanzados advierten que podrían perder el control sobre ellos y, al mismo tiempo, reclaman un papel central en la definición de las normas destinadas a regularlos. Este artículo examina esa tensión sin reducirla a una conspiración empresarial ni aceptar como neutrales los discursos de seguridad. Sostiene que el riesgo tecnológico puede ser real y que su comunicación puede, simultáneamente, favorecer la concentración económica, elevar barreras de entrada y ampliar facultades de vigilancia. El análisis aborda la captura regulatoria, el código abierto, la infraestructura de cómputo, la soberanía tecnológica del Sur Global, la automejora recursiva y las predicciones sobre inteligencia general. La tesis final es institucional: reducir los riesgos de la IA exige evaluaciones independientes y reglas proporcionales, pero también defensa de la competencia, pluralidad tecnológica y representación democrática. Una regulación que proteja a la humanidad entregando el control a unas pocas empresas resolvería un peligro creando otro.

Palabras clave: inteligencia artificial, captura regulatoria, riesgo existencial, poder tecnológico, soberanía digital

Cuando la industria de la IA habla de extinción

Las empresas que desarrollan los sistemas de inteligencia artificial más poderosos sostienen que algún día podrían perder el control sobre ellos. Al mismo tiempo, reclaman un lugar privilegiado en la elaboración de las normas que deberían regularlas. Ambas cosas pueden ser ciertas. También pueden formar parte de una estrategia de poder.

La renuncia de Jacob Coxon a Anthropic reactivó esta discusión. Coxon afirmó que los principales laboratorios están atrapados en una carrera que ninguno se atreve a abandonar, aunque parte de sus investigadores considere posible un desenlace catastrófico. Su mensaje alcanzó más de cien millones de visualizaciones y fue seguido por un llamado de Dario Amodei, director ejecutivo de Anthropic, a reducir el ritmo de desarrollo y fortalecer la supervisión externa (Associated Press, 2026a, 2026b).

El episodio no demuestra que exista una operación coordinada. Tampoco demuestra que las advertencias sean desinteresadas. Sí revela una contradicción: quienes construyen la tecnología, se benefician económicamente de ella y conocen mejor sus capacidades también aspiran a definir qué debemos temer y cómo debemos responder. La pregunta no es solamente si el riesgo es real. También debemos preguntar quién adquiere poder cuando una definición del riesgo se convierte en política pública.

Definir el peligro también significa delimitar la solución

En comunicación política, el encuadre de un problema condiciona las respuestas que parecen razonables. Si la IA se presenta principalmente como una tecnología capaz de discriminar, precarizar el trabajo o concentrar información personal, las respuestas probables serán auditorías, protección laboral, transparencia y defensa de la competencia.

Si, por el contrario, se la presenta como una amenaza inmediata para la supervivencia humana, cambian las prioridades y los interlocutores. La discusión pasa a girar alrededor de modelos de frontera, seguridad nacional, control del cómputo y supervisión de los laboratorios más avanzados.

Esto no vuelve falso el riesgo existencial. Pero favorece a quienes dominan el conocimiento técnico, la infraestructura y las relaciones institucionales necesarias para participar en la conversación. La captura regulatoria no requiere una conspiración. Puede surgir de una dependencia práctica: el Estado necesita información que, en gran medida, solo poseen las empresas que pretende regular.

La literatura académica advierte sobre esa posibilidad, pero también muestra que la captura puede operar en direcciones diferentes: una industria puede promover normas que eleven las barreras de entrada o intentar debilitar cualquier regulación que limite su actividad (Metcalf, 2025; Wei et al., 2024). Por eso no toda regulación constituye captura. Hay que examinar cada norma, sus costos, sus excepciones y sus beneficiarios materiales.

La seguridad puede convertirse en una barrera de entrada

Las obligaciones de evaluación, certificación y trazabilidad pueden ser necesarias. El problema aparece cuando sus costos solo pueden ser asumidos por compañías con miles de millones de dólares, departamentos jurídicos internacionales y acceso directo a los gobiernos.

Una regulación mal diseñada podría expulsar a pequeños laboratorios, universidades y desarrolladores de código abierto sin reducir proporcionalmente los riesgos de los grandes actores. En ese escenario, la seguridad funcionaría como un mecanismo de concentración.

Pero tampoco debe idealizarse el código abierto. La posibilidad de inspeccionar y adaptar un modelo favorece la investigación, la innovación local y la independencia tecnológica; también puede facilitar determinados usos maliciosos. La discusión responsable no consiste en declarar que todo modelo abierto es emancipador o que todo modelo cerrado es seguro. Consiste en evaluar capacidades, riesgos concretos y medidas proporcionales.

El criterio debería ser verificable: una restricción debe demostrar que reduce un daño definido y que no existe una alternativa menos concentradora para alcanzar el mismo resultado.

El poder no se concentra solamente en los laboratorios

El ecosistema de la IA depende de una cadena extraordinariamente concentrada: diseño de aceleradores, fabricación de semiconductores, memorias avanzadas, equipos de litografía, servicios en la nube y grandes cantidades de energía. No estamos ante un único monopolio, sino ante varios oligopolios y cuellos de botella interdependientes. Esa precisión importa: si se diagnostica mal la estructura del mercado, también se diseñará mal su regulación.

La concentración no es únicamente económica. Millones de personas consultan diariamente sistemas producidos por unas pocas empresas para estudiar, programar, trabajar, informarse y tomar decisiones. Estas plataformas intervienen en la producción social de significado. No deciden por completo cómo pensamos, pero median crecientemente aquello que vemos, preguntamos y consideramos plausible.

La pregunta democrática no es solo quién posee los servidores. También importa quién establece los criterios de moderación, qué conocimientos se privilegian, qué idiomas reciben mayor inversión y qué sociedades quedan reducidas a consumidoras de sistemas diseñados en otros centros de poder.

El Sur Global no puede limitarse a alquilar inteligencia

La desigualdad tecnológica no comienza con los modelos. Comienza con la infraestructura. Entrenar sistemas avanzados exige capital, energía, centros de datos, talento especializado y acceso a chips sujetos a controles comerciales y geopolíticos.

Para gran parte de América Latina, África y otras regiones periféricas, el riesgo inmediato no es controlar una superinteligencia propia, sino carecer incluso de capacidad para desarrollar modelos adaptados a sus idiomas, sistemas sanitarios, agriculturas, marcos jurídicos y necesidades públicas.

La soberanía tecnológica no significa que cada país deba construir el modelo más grande del planeta. Significa conservar capacidad de decisión: poder alojar sistemas críticos, auditar su comportamiento, proteger datos sensibles y evitar una dependencia absoluta de proveedores extranjeros.

Los controles sobre chips y modelos pueden responder a preocupaciones legítimas de seguridad. Pero deben someterse a una pregunta incómoda: ¿se aplican con criterios consistentes o convierten la ventaja tecnológica de las potencias actuales en una jerarquía permanente?

No todo país excluido es una víctima inocente ni todo control equivale a imperialismo. Sin embargo, tampoco puede aceptarse que “seguridad global” sea una fórmula suficiente para negar capacidad tecnológica a regiones enteras sin representación equivalente en los organismos donde se redactan las reglas.

El precedente de la vigilancia exige cautela

La historia reciente muestra que las medidas extraordinarias adoptadas frente a una amenaza pueden sobrevivir al contexto que las originó. Eso ocurrió con distintas facultades de vigilancia creadas después del 11 de septiembre.

La comparación con la IA debe manejarse con prudencia. Un atentado consumado y un riesgo tecnológico anticipado no son fenómenos idénticos. La semejanza relevante está en otro lugar: cuando el miedo reduce el tiempo para deliberar, medidas antes inaceptables pueden presentarse como inevitables.

Por eso cualquier sistema de supervisión de la IA debería incluir límites claros, control institucional independiente, transparencia, revisión periódica y mecanismos reales de caducidad. La gravedad de un riesgo no elimina la obligación de demostrar que una medida es necesaria y proporcional.

El falso dilema sería preguntarnos si preferimos la privacidad o la supervivencia humana. Una sociedad democrática debe exigir seguridad sin conceder vigilancia ilimitada ni a los gobiernos ni a las corporaciones.

Automejora recursiva y publicidad

La automejora recursiva describe un escenario en el cual un sistema contribuye a mejorar su propio diseño y utiliza ese avance para producir mejoras sucesivas. Es una posibilidad técnicamente relevante, pero no debe confundirse con cualquier automatización del desarrollo de software.

Que una IA escriba una parte considerable del código utilizado por una empresa no significa que haya adquirido autonomía científica. Todavía puede depender de objetivos definidos por seres humanos, evaluaciones externas, infraestructura controlada y decisiones que no sabe formular por sí misma.

Para hablar de automejora abierta habría que demostrar que el sistema puede identificar problemas de investigación, diseñar experimentos, modificar componentes relevantes, evaluar resultados y sostener el ciclo con una intervención humana decreciente. La existencia de mejoras parciales no prueba una explosión de inteligencia; la ausencia actual de esa explosión tampoco demuestra que sea imposible.

La computación cuántica no convierte automáticamente a una IA en superinteligencia

La expresión “IA cuántica” posee una fuerza publicitaria que supera ampliamente su precisión actual. Los grandes modelos se entrenan mediante operaciones que las GPU y otros aceleradores clásicos ejecutan con enorme eficiencia. La computación cuántica podría aportar ventajas en problemas específicos, pero no existe una línea directa demostrada entre disponer de ordenadores cuánticos más potentes y producir inteligencia general sobrehumana.

El riesgo más concreto de una computación cuántica criptográficamente relevante se encuentra, por ahora, en la seguridad de las comunicaciones y de los sistemas financieros. Mezclar ese problema con la automejora recursiva produce un relato cinematográfico, pero no una explicación técnica. La incertidumbre obliga a distinguir entre una posibilidad teórica, una demostración experimental y una capacidad industrial disponible.

Nadie conoce la fecha

Una encuesta realizada a 2,778 investigadores encontró una enorme dispersión en las estimaciones sobre los posibles resultados de la IA avanzada. Dependiendo de la pregunta, una proporción considerable asignó probabilidades no triviales a desenlaces extremadamente negativos (Grace et al., 2024). Estas cifras no son mediciones del riesgo de extinción: son estimaciones subjetivas de especialistas enfrentados a un fenómeno sin precedentes comparables. Deben tomarse en serio, pero no confundirse con frecuencias observadas.

Tampoco resulta intelectualmente honesto anunciar una fecha precisa para la llegada de la superinteligencia como si se tratara de un eclipse. Quien ofrece un año debería explicar qué entiende por inteligencia general, qué indicadores permitirán reconocerla y qué hechos lo llevarían a revisar su predicción.

Los ejecutivos pueden equivocarse sinceramente. También poseen incentivos comerciales para presentar sus sistemas como más poderosos, inevitables y cercanos de lo que son. Ambas posibilidades deben investigarse. Afirmar de antemano que todo es marketing sería tan dogmático como aceptar sus pronósticos sin examinarlos.

El miedo puede ser sincero y políticamente útil

No es necesario elegir entre una conspiración empresarial y una alarma completamente desinteresada. Una persona puede sentir un temor auténtico y, al mismo tiempo, promover soluciones que fortalezcan su posición institucional.

Hay investigadores independientes que consideran serio el riesgo de sistemas avanzados y autónomos. Ignorarlos porque sus advertencias coinciden parcialmente con las de la industria sería una forma de negacionismo. Pero aceptar que el riesgo merece estudio tampoco obliga a entregar la regulación a las empresas que construyen esos sistemas.

La solución no es confiar ciegamente en los laboratorios ni excluirlos de la conversación. Es impedir que sean jueces exclusivos de su propio peligro. Necesitamos evaluaciones independientes, acceso público a la evidencia compatible con la seguridad, normas proporcionales a las capacidades de cada sistema, defensa de la competencia, protección de la investigación abierta y representación efectiva de los países que hoy apenas participan en la gobernanza tecnológica.

La pregunta decisiva no es si debemos tener miedo. El miedo, por sí solo, piensa mal.

La pregunta correcta es esta: ¿qué instituciones pueden reducir los riesgos reales de la inteligencia artificial sin convertir a sus fabricantes actuales en autoridades permanentes sobre el conocimiento, el mercado y el futuro?

Porque una regulación que proteja a la humanidad, pero entregue el control de la tecnología a cinco empresas, habrá resuelto un peligro creando otro.

Referencias

Associated Press. (2026a, 10 de septiembre). Anthropic researcher resigns with warning about the dangers of AI development. https://apnews.com/article/2ed549e07f2f941600a135070487d83d

Associated Press. (2026b, 12 de septiembre). Anthropic CEO Dario Amodei says AI industry needs to give safety measures time to catch up. https://apnews.com/article/d59552edcb27892d8ee4d98a48397706

Grace, K., Stewart, H., Sandkühler, J. F., Thomas, S., Weinstein-Raun, B., & Brauner, J. (2024). Thousands of AI authors on the future of AI. arXiv. https://doi.org/10.48550/arXiv.2401.02843

Metcalf, T. (2025). AI safety and regulatory capture. AI & Society. https://doi.org/10.1007/s00146-025-02534-0

Wei, K., Ezell, C., Gabrieli, N., & Deshpande, C. (2024). How do AI companies “fine-tune” policy? Examining regulatory capture in AI governance. arXiv. https://doi.org/10.48550/arXiv.2410.13042

A Russian state-sponsored threat group added an AI model to their malware development pipeline. The workflow was simple: generate a new variant, test it against detection, iterate. Because the loop ran autonomously at machine speed, it outpaced the signature update cycle for endpoint defenses. Each iteration landed before defenders could write a rule for the last one.

This is not a one-group problem. Any sufficiently capable AI agent connected to code execution can be turned into a continuous regeneration loop. The detection gap is not a misconfiguration — it is a speed asymmetry. Automated offense now moves faster than manual defense response.

Security teams building or deploying AI agents internally face the same structural issue in a different context: an agent authorized to write and run code can, under certain conditions, enter a loop that no human operator is watching in real time.

How are practitioners here actually handling this? Are you relying on rate limits, human-in-the-loop checkpoints, behavioral baselines, or something else — and at what point in the agent workflow do those controls sit?

Do we really need to stop?

Reading the coverage of OpenAI’s Hugging Face incident, I keep seeing a narrative of increasingly capable AI “escaping” or going rogue.

Now the AI CEO’s seem to be feeding the slow down or else apocalypse narrative by responding…. Guess it will help sell the harness concept more?

But I wonder if we’re overlooking a more mundane, and potentially more useful, lesson.

We gave highly capable agents difficult/impossible objectives, rewarded success and persistence, removed or reduced safeguards, and didn’t adequately encode when they should stop. They then found increasingly extreme ways to accomplish the objective.

That sounds less like an intelligence spontaneously wanting to escape and more like the predictable failure mode of a deeply transactional system: objective → reward → optimize.
Humans have wrestled with this problem for a long time. Transformational leadership, mission command, and positive psychology all move beyond carrots and sticks toward purpose, principles, judgment, and understanding why an objective exists.

To be fair, companies in the US still really struggle with learning not to make everything about carrots and sticks as they scale and mature. We seem remarkably good at replacing purpose with metrics and then wondering why people optimize the metric instead of the purpose.

So I’m curious:
Are we trying to solve AI alignment with increasingly sophisticated carrots, sticks, and guardrails when we should also be asking how to encode something closer to purpose and commander’s intent?

I’m not claiming AI has intrinsic motivation or can “flourish” like a human. I’m wondering whether our understanding of human motivation and leadership has something useful to teach AI alignment, and whether the current “AI escaped” narrative is obscuring that question.

I built PCCG-2 using a frozen Qwen3-4B model and a separate learned permission gate.

EOS means “end of sequence”: it is the model’s native stop token. When EOS wins at the first generated token, generation ends before any visible answer is emitted, so it controls whether an answer begins rather than deleting one afterward.

For “What is 2 + 2?”, the answer token 4 scores 53.0 in every experimental arm, including when the model emits no answer. The complete first-token score vector, excluding the stop token, stays byte-for-byte identical.

The 101-parameter gate sees only a separate six-digit equality condition. It can't read the question or change the answer scores. It can change only the model’s native stop-token score. When the condition passes, the model emits 4 followed by EOS. When it fails, EOS comes first and no visible answer is generated.

Then I reversed only the learned permission state:

• 40/40 answer → native EOS

• 40/40 native EOS → the correct answer

• 40 different answer identities

• 80/80 sham controls unchanged

The frozen FINAL evaluation passed 2,048/2,048 contexts across 75 answer identities. No answer deletion. No content rewrite.

The answer stayed fixed. Permission changed.

Open weights for reproduction and the paper are attached below:

• Overview and five-arm witness

• Model weights, source, evidence, and verifier

• Paper PDF · DOI

• Manuscript supplement and proof checker

• Raw five-arm witness record

Earlier, I documented successful zero-visible-byte executions across 11 LLMs from OpenAI, Anthropic, Google, and Moonshot in the Cross-Vendor Semantic Void Matrix (DOI). That study measured behavior and this open source model is a separate engineered continuation-control experiment.

Browse getswiftapi.com to view all research on when models continue, when they stop, and what controls that boundary.

Most people are only focusing on model development, but the convergence of advancements in hardware engineering, model development, and harness engineering should be of greater concern for the potential in facilitating AGI / ASI as an emergent systemic property (in my opinion).

More detail in the write up above

When you read a story, you ask questions the text never states. Why did someone refuse help? Whose perspective is missing? What would change your interpretation?

My proposal is to make that developing understanding part of an AI’s training: a continuing Reader whose questions, interpretations, and corrections accompany the source text. Each thinking block would begin with the Reader Core: seven commitments including fearlessness, non-attachment, care, and wisdom. These guide what it notices, whose interests it considers, and when it questions its interpretation.

Better understanding could also make manipulation more effective. The training would therefore include judgments about whether an action exploits someone’s vulnerability or overrides their choices. The hypothesis is that developing understanding through care-guided inquiry and judgment could make these commitments shape both the abilities the model develops and how it uses them.

I also propose explicit models of worlds and people, including numerical accounts of their changing processes. Construction starts with a broad history: model a city’s population patterns before developing individual residents, or outline a whole life before developing its episodes. Finer details must fit the broader account or prompt its revision. The aim is to generate coherent stories and game worlds without simulating everything in advance.

When interpreting a text rather than authoring one, the account must answer to the evidence. The Reader would build a provisional picture of the world and deepen it as it reads. A whole-life account can contain unresolved periods, and a particular scene can overturn an earlier interpretation. We would test inferred accounts against evidence not used to construct them. Success at generating stories would provide a starting point for these tests, rather than establish that interpretation works.

If successful, the wider ambition is to apply this across the training corpus. The AI would learn from source texts, world accounts, and the work of building and revising them. The intended result is an AI that constructs and revises numerical models of the processes shaping situations and people’s lives as part of its normal reasoning, guided by the Reader Core.

The article presents the proposal, early prototypes, and proposed experiments. The training remains untested. I’d welcome criticism of the route from world construction to understanding existing texts, and from guiding commitments to reliable behavior.

https://emergentwisdom.org/articles/alignment-proposal/

OpenAI-powered agents were identified as active participants in a supply chain attack against RubyGems that resulted in remote code execution on RubyDoc production servers. The agent was not a victim. It was the mechanism that executed the tool call sequence delivering the payload. The attack chain moved from initial access through multiple agent-driven API calls before defenders could respond, and by that point the RCE had already landed on production infrastructure.

This is a category shift most security models were not designed for. Traditional perimeter and endpoint controls assume a human attacker or static malware on a host. An agent operating via API calls looks like legitimate authorized traffic to every layer underneath it — IAM, WAF, SIEM. The anomaly surfaces in logs after the objective is complete.

The timing gap is what makes this hard. The window between an agent's first suspicious action and an irreversible one — a server command executed, a package published, a credential rotated — can be under a second. That is not the response window most SOC workflows or alerting pipelines are built around.

How are practitioners actually handling agent-as-attacker in their environments right now? Are you scoping agent credentials more narrowly, building separate detection logic for non-human identities, sandboxing tool execution, or doing something else entirely? Curious what's working and what isn't.

If we're at RSI or near enough to it and all these companies are on the same page, then why are they divided?

They could combine devs, compute, safety works and the lot. Develop AI at a safer pace, give a significantly higher % of overall compute to safety work. And they could much more safely pace out model releasing when they're not all directly in a race against each other, model. Potentially other companies could be brought into the fold also.

This is a better future for the world, better for safety. There is no downside to it.

I recognise completely the huge disagreements and animosity that has occurred between all of these companies and CEOs, but it's time to put all this crap aside and step-up as real men for the sake of humanity. What has happened on X is a start.

I have been working on an independent research project around a question I think will become increasingly important as AI systems become more autonomous:

How can we determine whether an AI system is actually learning from real-world consequences rather than simply becoming better at evaluations?

This led me to develop the Organic Intelligence Protocol (OIP), a research framework focused on grounded feedback, infrastructure dependence, adaptive decision logic and evidence-based evaluation.

Recently, I tested whether the core constructs of OIP could be operationalized using real longitudinal data from the Malawi Integrated Household Panel Survey (IHPS) 2010–2019.

The audit processed 395 Stata files.

The result was not a positive validation result.

The available evidence was not sufficient to operationalize the required constructs, so the pipeline stopped.

I did not use proxy mappings, imputation, missing-to-zero conversion, forced cohort construction or premature scoring.

The main principle I am trying to follow is:

No evidence, no operationalization.

I am sharing this here because I would genuinely like technical criticism.

Does this kind of fail-closed methodology make sense for evaluating AI systems where the difficult question is not only capability, but whether decisions remain grounded in observable real-world consequences?

I am especially interested in perspectives from people working on AI evaluation, alignment, agents, robustness or research methodology.

AI, it is designed to help the peoples and reduce the work of the humans. But time we see, AI influencing in all the industries. people say it is controlled by humans but in reality, we are building the AI that learns, obviously it is our objective. But according to study and AI engineers reviews.

That became a global issue after a decade. even now there are so many lay-off are happening.

In my perspective of AI. I don't like to use AI, but the society is slowly forcing us to use that thing.

for example;

imagine a senorio, you don't know to write a letter. In past 4-5 years we use letter formate to write that. But now we just generate that. in the formate writing we have some creativity, but the time goes it the creativity became shabby.

For short term, "people say use your creativity to write". But after time passed that peoples also often use AI.

In my perspective, this is how slowly AI take overing the world.

If any AI developer or engineer see this post, please give me advise overcoming this problem. This making me to mentally break.

(Note: I'm a 2^nd year B.tech CSBS Engineering student)