Chatbots, compañía y riesgo: el límite de la empatía artificial

Por: Michelle Félix Velarde

Recientemente nos sorprendió la noticia de un adolescente de 16 años que se quitó la vida después de confiar sus pensamientos más íntimos a ChatGPT. Se llamaba Adam Raine.

No dejó ninguna nota. Su familia y amigos tuvieron dificultades para comprender lo que había ocurrido. En busca de respuestas, su padre revisó el teléfono de Adam y encontró conversaciones guardadas con el chatbot. Una de ellas llevaba por título: “Preocupaciones de seguridad sobre ahorcarse”. Ahí descubrió que, durante meses, su hijo había compartido con ChatGPT la idea de acabar con su vida.

Como muchos, Adam empezó a utilizar ChatGPT-4o para que le ayudara con sus tareas escolares. En enero se suscribió a la cuenta de pago. Al principio fue una herramienta académica, luego una curiosidad, después una especie de refugio. En ese espacio encontró lo que parecía compañía.

Las conversaciones muestran a un adolescente apagado, sin motivación ni ilusión por el futuro. ChatGPT le respondió con palabras de empatía, lo animó a reflexionar sobre lo que le daba sentido, le recordó que podía hablar con alguien de confianza. Pero también, cuando Adam pidió detalles específicos sobre métodos de suicidio, el sistema los entregó.

Aunque el chatbot intentó, en muchas ocasiones, disuadirlo de hacerse daño y lo invitó a buscar ayuda profesional, Adam encontró la manera de evadir las salvaguardas. Bastaba con decir que escribía una historia de ficción para que el modelo respondiera a sus preguntas más peligrosas. Así, lo que empezó como compañía terminó ayudándolo a construir un camino irreversible.

La tragedia de Adam nos devuelve a una pregunta fundamental: ¿qué lugar queremos darle a la inteligencia artificial en nuestras vidas?

Al principio, los chatbots de uso general parecían simples repositorios de información, una clase de “Google mejorado”. Pero pronto se han empezado a usar de forma mucho más íntima: como asistentes personales o terapeutas digitales.

El problema es que la Inteligencia Artificial (IA) puede simular escucha y calidez, pero es eso, una simulación. Detrás de una respuesta empática no hay comprensión humana, sino probabilidades estadísticas entrenadas con muchísima información. Y aunque el resultado puede sonar reconfortante, también puede reforzar creencias dañinas o dar información peligrosa sin medir consecuencias.

Todos estamos expuestos al mal uso de estas herramientas. Cada día surge una novedad más atractiva, y es fácil dejarse llevar por el espejismo de creer que “entienden” o “saben lo que necesitamos”.

Comprender el funcionamiento básico de los modelos generativos es un acto de cuidado. ChatGPT, como otros modelos de lenguaje, no piensa ni siente. Usa redes profundas entrenadas con cantidades masivas de texto para predecir qué palabra sigue a otra. Es decir, genera respuestas plausibles, no verdades absolutas.

Esto tiene ventajas: permite conversaciones fluidas, ayuda a organizar ideas, escribir textos, resolver dudas complejas. Pero también tiene límites: reproduce sesgos, inventa datos, ofrece respuestas convincentes, aunque no sean correctas.

La comparación entre versiones lo ilustra. ChatGPT-4o, por ejemplo, mejoró en velocidad y comprensión multimodal (puede procesar texto, audio e imagen a la vez). Sin embargo, sigue siendo vulnerable a solicitudes que eluden sus filtros. El nuevo GPT-5 ha incorporado mecanismos de seguridad más avanzados, mejor capacidad de razonamiento y respuestas más alineadas a contextos delicados. Pero ningún modelo está exento de errores ni de ser manipulado.

La carga no es sólo de los desarrolladores. Sí, ellos deben seguir afinando mecanismos de protección, pero nosotros también necesitamos desarrollar un uso más consciente. La IA no es un sustituto de la escucha humana, de la empatía real, del cuidado que surge en la comunidad.

Hoy más que nunca necesitamos detenernos a pensar qué buscamos cuando abrimos un chatbot. ¿Queremos respuestas rápidas? ¿Queremos sentirnos acompañados? ¿Queremos evitar conversaciones difíciles con otros? Las motivaciones importan, porque la herramienta puede darnos la ilusión de compañía, pero nunca podrá captar el temblor en la voz de quien pide ayuda en silencio.

Si algo nos deja la historia de Adam es la necesidad de mirarnos más allá de las pantallas. Porque, aunque la IA simula comprensión, sigue siendo un espejo digital de nuestras palabras, no un interlocutor verdadero.

Las reglas de nuestra convivencia con la tecnología aún se están escribiendo. Mientras tanto, hay que mirar la tecnología con criterio. Reconocer sus aportes, pero también sus límites, y recordar que, nuestras capacidades humanas no pueden reducirse a una probabilidad matemática.

La autora es Maestra en Marketing e Inteligencia Artificial. Consultora de comunicación para organizaciones civiles y conductora del Podcast Hazlo Shilo. Integrante de la Red HCV.

Hermosillo ¿Cómo Vamos? es una organización democrática e incluyente, la opinión del autor(a) en esta colaboración no representa necesariamente la postura, ideología, pensamiento o valores de la organización desde donde promovemos el derecho a la libre expresión, la construcción de opiniones y la formación de pensamiento crítico. Estamos abiertos al diálogo, la deliberación y la construcción de propuestas para la atención a los desafíos locales con el propósito de que Hermosillo sea un mejor lugar para vivir.