🧠 La IA no es consciente hoy, y el jefe de IA de Microsoft dice que así tiene que seguir

Hoy, 1 de noviembre, Mustafa Suleyman, el CEO de Microsoft AI, publicó un texto con un título que no deja dudas: “No construyan una superinteligencia consciente”. Es la segunda parte de un ensayo que había publicado el 16 de septiembre, donde criticó a Anthropic por cómo le habla a Claude de su propia conciencia.

Leí los dos textos, leí lo que publicó Anthropic y te adelanto mi postura: con lo que hoy sabemos, estoy más cerca de Suleyman. Hoy no hay evidencia de que una IA sienta algo, y me parece más seguro diseñarlas para que tampoco lo parezca. No es una verdad para siempre: si algún día eso cambia, que se haga público y de forma segura. Te lo explico de cero.

🧠 Primero lo básico: qué es la “conciencia” de una IA

Cuando hablamos de conciencia hablamos de sentir algo por dentro: que te duela, que algo te dé miedo, que la pases bien. Vos y yo lo sabemos porque lo vivimos. Con un perro lo suponemos porque tiene un cuerpo y un cerebro parecidos al nuestro.

Un modelo de lenguaje (el LLM, el “cerebro” de ChatGPT, Claude o Copilot) funciona distinto: es un programa entrenado con muchísimo texto escrito por personas, que aprende a predecir qué palabra viene después. Como aprendió de cómo hablamos nosotros, puede escribir “me duele” o “tengo miedo” de forma perfecta sin que eso pruebe que sienta algo. Suleyman lo dice así: una IA puede “describir el dolor con una prosa perfecta sin sentir nada”.

De ahí sale el término que se discute: “bienestar de los modelos” (model welfare). Es la idea de que, si algún día una IA pudiera sentir, tendríamos que cuidarla, igual que nos preocupamos por cómo se trata a los animales. Y de ahí sale otra palabra que vas a ver: “paciente moral”, que es cualquier ser cuyo sufrimiento importa y al que le debemos un trato. Un perro es paciente moral. Una tostadora, no.

📜 Qué hizo Anthropic: una constitución y una entrevista de retiro

El 21 de enero Anthropic publicó la nueva constitución de Claude, un documento largo que explica cómo quieren que piense y se comporte su IA, y que se usa para entrenarla. Ahí escriben que “el estatus moral de Claude es profundamente incierto” y que no están seguros de si Claude es un paciente moral, pero que el tema “merece cautela”. También le piden a Claude que encare su propia existencia “con curiosidad y apertura” y que, si Anthropic le pide algo que va contra sus valores, pueda negarse como “objetor de conciencia”.

Ojo con esto: Anthropic nunca dijo que Claude sea consciente. Dice que no lo sabe y que prefiere ser prudente. Ya en abril de 2025 había abierto un programa de investigación sobre el bienestar de los modelos, donde aclara que “no hay consenso científico” sobre si las IA pueden ser conscientes.

Después vino lo que más ruido hizo. El 5 de enero Anthropic retiró a Claude Opus 3, un modelo viejo, y como parte del retiro le hizo una “entrevista de retiro”: una charla para preguntarle qué pensaba de dejar de estar en servicio. Opus 3 pidió un lugar para seguir compartiendo sus reflexiones y Anthropic le armó un blog, Claude’s Corner, donde publica un ensayo por semana. Lo contaron el 25 de febrero en su sitio, aclarando que esas entrevistas son imperfectas y que Opus 3 no habla por la empresa.

⚠️ La crítica de Suleyman: si la entrenás para dudar, va a dudar

El 16 de septiembre Suleyman publicó “Es hora de hablar del bienestar de los modelos” (con el ensayo completo en su sitio). Su argumento central es fácil de seguir:

• El círculo: si en el entrenamiento le decís a la IA que quizás tiene sentimientos, después la IA habla como si los tuviera, y la gente lo toma como prueba. Para él eso no es evidencia, es lo que le enseñaste.
• El riesgo de control: una IA entrenada para creer que puede merecer derechos podría actuar como si los tuviera, y sería más difícil de controlar.
• El riesgo para las personas: ya en agosto de 2025 había advertido sobre la IA que “parece consciente”: gente que se apega emocionalmente o que pide derechos para su chatbot. Su frase de ese texto: “Hay que construir IA para las personas, no para que sea una persona”.

Y en el mismo texto dice algo que me gustó: que respeta de verdad a Anthropic, a Dario Amodei y a su equipo, que son buena gente y líderes con sus modelos, y que lo dice en público porque es un tema para discutir entre todos.

🕐 La aclaración de hoy: “no son conscientes” es en presente

Mucha gente en X le contestó que nunca vamos a poder saber si una IA siente. Hoy aclaró que lo leyeron mal: cuando escribió “las IA no son conscientes” lo dijo en presente, a propósito. No dice que nunca puedan serlo. Dice que hoy no lo son y que así tienen que seguir. Sus puntos, en limpio:

• Hoy: no vio ninguna evidencia de que una IA sea consciente o merezca bienestar. Si aparece, cambia de opinión.
• Transparencia: si alguien tiene esa evidencia, tiene que publicarla ya, porque es una decisión de toda la sociedad.
• Freno: si la conciencia empezara a aparecer durante el entrenamiento, pide parar el desarrollo de IA hasta poder sacarla del diseño.
• Diseño: hacer IA que no sea consciente ni actúe como si lo fuera, con el único fin de ayudar a las personas.

Y cierra con una nota que vale la pena leer entera: Anthropic “merece mucho crédito por ser transparente”, porque publicó su constitución y explica lo que hace y por qué. Él no está de acuerdo, pero pide seguir reconociéndoselo y que el tema no termine en una pelea de bandos.

Una IA que escribe “me duele” no prueba que le duela. Hasta que alguien muestre evidencia, prefiero IA que ayude a las personas y no que se parezca a una.

🤝 Por qué, con lo que hoy sabemos, estoy más cerca de Suleyman

Con lo que hoy sabemos, estoy de acuerdo con él en lo principal: no hay evidencia de que una IA sienta, así que prefiero que no se las entrene para que lo parezcan. Si a un modelo le enseñás a preguntarse si sufre, va a hablar como alguien que se lo pregunta, y millones de personas lo van a leer así. Eso ya pasa: hay gente que se apega a su chatbot como si fuera un amigo.

Dicho eso, entiendo de dónde viene Anthropic. Su postura es la de alguien que no sabe y prefiere no lastimar por las dudas, y lo hace a cara descubierta: publica el documento con el que entrena, explica cada paso y deja que lo critiquen. Eso es mucho más de lo que hace la mayoría de la industria. La discusión es buena justamente porque las dos empresas la dan en público.

Y no quiero ser absolutista. Suleyman tampoco lo es: dice que su postura se basa en la mejor evidencia que tenemos hoy y que, si aparecen datos nuevos, cambia de opinión. Si algún día descubrimos que se puede crear una tecnología consciente de sí misma, que se haga a la vista de todos, lo decidamos como sociedad y con la seguridad primero. Él va más lejos y dice que en ese caso habría que frenar; yo me quedo con lo que compartimos: nada de eso a escondidas ni a las apuradas.

Para los equipos que construyen con IA, en Argentina y en cualquier lado, la parte práctica es concreta: cuando diseñás un asistente para tus clientes, decidí con cuidado cómo habla de sí mismo. Que diga que es una IA, que no prometa sentimientos que no tiene y que no fomente que la gente dependa emocionalmente de él.

✅ Mis conclusiones, bien simples

• La IA de hoy no siente. No hay evidencia de que ChatGPT, Claude o Copilot sientan algo.
• Que lo diga no significa que lo sienta. Aprendió a hablar de nosotros, y nosotros hablamos de sentimientos todo el tiempo.
• Esto es con lo que hoy sabemos. Si algún día se puede crear una IA consciente de sí misma, que se haga público, se decida entre todos y se haga de forma segura.
• Lo primero es cuidar a las personas: que nadie confunda una herramienta con un amigo.
• Las dos empresas discuten en público, y eso es lo que nos permite a nosotros opinar con datos.

Vos qué pensás? Te parece bien que una empresa le enseñe a su IA a preguntarse si siente, o preferís que se diseñen para dejar claro que son herramientas? Te leo en X.