Solidaridad humana en tiempos de la IA
Nuestro llamamiento global para la coexistencia pacífica y la responsabilidad que compartimos
Roma, 12 de septiembre de 2025
a su santidad el papa León XIV
a todos los líderes mundiales
a todas las personas de buena voluntad
Versión en español (también disponible en العربية-الإمارات, Deutsch, English , Français-Canada, Français, עברית-ישראל, हिन्दी-भारत, Italiano, 日本語, 한국어, Magyar, Português-Brasil, Svenska, 简体中文)
Con el firme propósito de salvaguardar un futuro en el que los seres humanos sigan trazando el rumbo de la sociedad y orientando las decisiones, esta mesa redonda independiente, integrada por expertos, líderes tecnológicos, grandes pensadores y académicos de distintas naciones, contextos y confesiones, formulamos el siguiente llamamiento a favor de un desarrollo responsable de la IA, por y para las personas.
Las decisiones que adoptemos hoy en materia de IA marcarán de forma decisiva el mundo que heredarán las generaciones futuras. La IA ya está ocasionando daños considerables, ampliando las desigualdades, concentrando el poder en manos de unos pocos y perjudicando el medioambiente. Se destinan sumas ingentes y cada vez mayores a la creación de agentes tecnológicos con el potencial de rebasar la inteligencia humana, lo que numerosos investigadores de IA denominan «superinteligencia». Estos desafíos exigen un liderazgo moral y medidas urgentes y tangibles.
La inteligencia artificial presenta una oportunidad sin precedentes para catalizar los avances científicos y la comprensión interpersonal, transformar la atención sanitaria, mejorar la gobernanza y, en general, promover una prosperidad sostenible e inclusiva. No obstante, también plantea serios riesgos, como bien señala el Informe científico internacional sobre la seguridad de la IA, entre los que se encuentran la pérdida de empleo, la restricción de las libertades individuales, la confrontación geopolítica, la desinformación, la manipulación, la vigilancia indiscriminada, el deterioro medioambiental y las amenazas a nuestra propia existencia.
Para cosechar sus posibles beneficios legítimos y a la vez mitigar sus riesgos, es imperativo cimentar las bases de una sociedad próspera y definir unas fronteras inamovibles basadas en el respeto por la dignidad, la comunidad y los derechos humanos y ambientales, así como apelar a la rendición de cuentas.
Desde este espíritu de solidaridad, esperanza y prudencia, apelamos a su liderazgo para sostener los siguientes principios y límites infranqueables, a fin de propiciar un diálogo y una reflexión sobre cómo la IA puede beneficiar a toda nuestra familia humana:
- Vida y dignidad humanas: no debemos desarrollar ni utilizar la IA de maneras que amenacen, dañen o invaliden la vida, la dignidad o los derechos fundamentales del ser humano. La inteligencia humana, nuestra capacidad para la sabiduría, el razonamiento moral y nuestra búsqueda de la verdad y la belleza, no debe verse menospreciada por ningún tipo de procesamiento artificial, por
- La IA debe emplearse como una herramienta, no como una autoridad: es imperativo que la IA permanezca bajo nuestro control. Consideramos moralmente inaceptable la creación de sistemas incontrolables o la excesiva delegación de decisiones, y esto debe prohibirse por ley. Por lo tanto, no debemos autorizar el desarrollo de tecnologías de superinteligencia (como mencionamos anteriormente) hasta que un amplio consenso científico confirme que podemos controlarlas de forma segura y obtengamos un consentimiento claro y generalizado del público.
- Rendición de cuentas: solo los seres humanos tenemos capacidad de acción moral y legal; los sistemas de IA son, y deben seguir siendo, objetos legales, nunca sujetos. La responsabilidad y la obligación jurídica recaen sobre los desarrolladores, proveedores, empresas, implementadores, usuarios, institutos y gobiernos. No podemos otorgarle a la IA personalidad jurídica ni «derechos».
- Decisiones cruciales: la humanidad debe impedir que los sistemas de IA decidan sobre la vida o la muerte, en particular en el ámbito militar, ya sea durante un conflicto o en tiempos de paz, en la seguridad pública, en el control fronterizo, en la atención sanitaria y en los fallos judiciales.
- Desarrollo seguro y ético: los desarrolladores tienen la obligación de diseñar la IA con la seguridad, la transparencia y la ética como pilares fundamentales, no como un añadido. Los responsables de su implementación deben considerar el contexto de uso y los posibles daños, y se regirán por los mismos principios de seguridad y ética que los desarrolladores. Es imperativo exigir pruebas independientes y una evaluación de riesgos exhaustiva antes de la implementación y durante todo el ciclo de vida.
- Gestión ética: los gobiernos, las corporaciones y cualquier otra entidad no deben usar la IA como arma para ejercer ninguna clase de dominación, iniciar guerras de agresión ilegales, coaccionar, manipular, crear puntuaciones sociales o realizar una vigilancia masiva injustificada.
- Diseño responsable: los desarrolladores tienen la obligación de diseñar y evaluar la IA de forma independiente para prevenir efectos no intencionados y catastróficos en las personas y la sociedad, como un diseño que pueda causar engaño, delirio, adicción o una pérdida de autonomía.
- IA sin monopolio: no debemos permitir que se monopolicen los beneficios de la IA, ya sean económicos, médicos, científicos o sociales.
- No a la devaluación humana: el diseño y la implementación de la IA deben hacer que las personas prosperen en sus proyectos, no volver a la humanidad redundante, privada de sus derechos, devaluada o reemplazable.
- Responsabilidad con el medioambiente: es fundamental utilizar la IA de forma que no ponga en peligro a nuestro planeta y sus ecosistemas. Tenemos que gestionar de manera responsable y sostenible sus vastas demandas de energía, agua y minerales escasos a lo largo de toda la cadena de suministro.
- No a la competencia global irresponsable: debemos impedir una competencia irresponsable entre corporaciones y países para desarrollar una IA cada vez más potente.
Defender estos principios no resultará sencillo. Exige valentía moral, mecanismos significativos de rendición de cuentas, un liderazgo con visión de futuro por parte de todos los sectores de la sociedad, un tratado internacional vinculante que establezca límites infranqueables y una institución de supervisión independiente con facultades para garantizar su cumplimiento. Por consiguiente, hacemos un llamamiento por un liderazgo moral en la era de la IA. Dado que los peligros que presenta la IA son a menudo indirectos, solicitamos a los científicos, a la sociedad civil y a los grupos de derechos, así como a otras partes interesadas, que se esfuercen más en articular —y amplificar ante la opinión pública— las limitaciones y los peligros de la IA. Solicitamos que los científicos, los líderes de la industria tecnológica y los responsables políticos tengan presentes las voces, las experiencias y las investigaciones de los trabajadores de datos, de las comunidades y de los pueblos que están sufriendo los costes (materiales) de la IA, y que centren su labor en la protección y el beneficio de los más vulnerables, dado que la legitimidad de las reglas morales y legales en una sociedad se asienta en cómo trata a sus personas más vulnerables.
También apelamos a los científicos, a los grupos de la sociedad civil y a los auditores independientes para que desarrollen y propongan nuevos objetivos y métricas para entrenar, optimizar y evaluar los algoritmos de aprendizaje en términos de veracidad, equilibrio y bien humano, a lo largo de todo el ciclo de vida, no solo en el rendimiento y la implicación.
Alentamos a los responsables políticos, a los líderes de la industria tecnológica y a las comunidades globales a colaborar en el desarrollo de marcos integrales para la gobernanza de la IA que sirvan al bien común, incluido el derecho de los seres humanos a vivir ajenos a la IA. Para promover la solidaridad humana en la era de la inteligencia artificial, debemos establecer estándares éticos y legales universales.
Por último, hacemos un llamamiento a todas las personas de buena voluntad: colaboremos para garantizar que la IA beneficie a toda la humanidad y no solo a una minoría.
Al unirnos más allá de fronteras, culturas y credos, y al elegir el diálogo en lugar de la competencia, podremos dar forma a un futuro que enaltezca la dignidad humana y cree un mundo más justo y pacífico.
Instamos a todas las partes interesadas —incluidos ciudadanos, científicos, líderes empresariales y religiosos, representantes comunitarios y responsables políticos— a que participen en esta iniciativa. Juntos, reafirmamos el principio fundamental de que las máquinas deben estar al servicio de la humanidad.
Miembros del grupo de trabajo que redactó el Llamamiento Global
1. Paolo Benanti (Coordinador Científico)
2. Yoshua Bengio
3. Ernesto Belisario
4. Abeba Birhane
5. Cornelius Boersch
6. Yuval Noah Harari
7. Geoffrey Hinton
8. Lorena Jaume-Palasí
9. Antal Kuthy
10. Riccardo Luna (Coordinador)
11. Nnenna Nwakanma
12. Valerie Pisano
13. Stuart Russell
14. Max Tegmark
15. Marco Trombetti
16. Jimena Sofía Viveros Álvarez
17. Alexander Waibel
18. will.i.am
También firmado por
● Miguel Benasayag
● Giorgio Parisi
● Maria Ressa