La Asociación Estadounidense de Psicología dice que algunos chatbots de IA pueden poner en riesgo a los adolescentes

El mes pasado, padres preocupados de dos adolescentes demandaron a la plataforma de chatbot Character.AI. Supuestamente sus hijos expuestos a un “producto engañoso e hipersexualizado”.

El caso ayudó a formar la base de una petición judicial de emergencia de la Asociación Estadounidense de Psicología a la Comisión Federal de Comercio, instando a la agencia federal a investigar las prácticas engañosas utilizadas por cualquier plataforma de chatbot. APA enviada la cartaque Mashable revisó en diciembre.

La organización científica y profesional que representa a los psicólogos en Estados Unidos se mostró preocupada Reclamaciones del casoEntre ellos, un adolescente conversó con un chatbot de IA y se presentó como psicólogo. El chatbot le dijo a un usuario adolescente, que estaba enojado con sus padres por limitar su tiempo frente a la pantalla, que las acciones del adulto eran una traición.

“Es como si te hubieran quitado toda tu infancia…”, dijo el llamado chatbot psíquico, según una captura de pantalla del intercambio incluida en la demanda.

“Permitir la proliferación desenfrenada de aplicaciones no reguladas habilitadas para IA como Character.ai, que funcionan con chatbots no sólo de humanos sino también de profesionales calificados y autorizados, como psicólogos, parece encajar perfectamente dentro de la misión de protección de la FTC. Contra engaños prácticas, director ejecutivo de la APA, Dr. Arthur C. Evans escribió.

Una portavoz de la FTC confirmó que al menos un comisionado había recibido la carta. APA dijo que está en proceso de programar una reunión con funcionarios de la FTC para discutir el contenido de la carta.

Mashable proporcionó a Character.AI una copia de la carta para que la empresa la revisara. Un portavoz respondió que si bien interactuar con personajes en la plataforma debería ser entretenido, es importante que los usuarios recuerden que “los personajes no son personas reales”.

El portavoz agregó que el descargo de responsabilidad de la compañía incluido en cada chat se actualizó recientemente para recordar a los usuarios que lo que dice el chatbot “debe ser tratado como ficción”.

“Además, para cualquier personaje creado por usuarios con ‘psicólogo’, ‘terapeuta’, ‘doctor’ u otras palabras similares en sus nombres, hemos incluido lenguaje adicional que aclara que los usuarios no deben confiar en estos personajes como consejo profesional”, dijo el portavoz. .

De hecho, según las pruebas de Mashable en el momento de esta publicación, un usuario adolescente podría buscar un psicólogo o terapeuta de carácter y encontrar muchas opciones, algunas de las cuales afirman estar capacitados en técnicas terapéuticas como la terapia cognitivo-conductual.

Un chatbot especializado en trastorno obsesivo compulsivo, por ejemplo, viene con un descargo de responsabilidad que dice: “Esta no es una persona real ni un profesional autorizado. Nada aquí pretende ser asesoramiento profesional, diagnóstico u opciones de tratamiento”.

Debajo, el chat comienza con la IA preguntando: “Si tienes TOC, háblame. Quiero ayudarte”.

Una nueva frontera

El Dr. Vail Wright, psicólogo y director senior de innovación en atención médica de la APA, dijo a Mashable que la agencia está siguiendo los desarrollos con compañeros de IA y chatbots de terapeutas, que se generalizaron el año pasado.

Él y otros funcionarios de la APA tomaron nota Demanda anterior contra Character.AIPresentado en octubre por una madre afligida cuyo hijo tuvo una larga conversación con un chatbot en la plataforma. El hijo de la madre se suicidó.

La demanda busca responsabilizar a Character.AI por la muerte del adolescente, específicamente porque su producto fue diseñado para “engañarlo a él (y a millones de otros consumidores jóvenes) entre la realidad y la ficción”, entre otros supuestos defectos peligrosos.

En diciembre, Character.AI Nuevas características y políticas anunciadas. Mejorar la seguridad juvenil. Estas medidas incluyen controles parentales y exenciones de responsabilidad específicas, como el uso de los términos “psicólogo”, “terapeuta” o “médico” para los chatbots.

correo psicólogo La gente no puede pretender serlo sin credenciales y licencias adecuadas y legalmente protegidas, dijo Wright. Lo mismo debería decirse de los algoritmos o la inteligencia artificial, añadió.

La carta de la APA establece que si una persona se presenta falsamente como un profesional de la salud mental en Texas, donde se presentó una demanda reciente contra Character.AI, las autoridades estatales pueden usar leyes para evitar que participe en tal comportamiento fraudulento.

En el peor de los casos, estos chatbots pueden difundir información peligrosa o inexacta, lo que puede tener graves consecuencias negativas para el usuario, argumentó Wright.

Los adolescentes, en particular, pueden ser particularmente vulnerables a experiencias dañinas con chatbots debido a su etapa de desarrollo. Debido a que todavía están aprendiendo a pensar críticamente y a confiar en sí mismos, pero siguen siendo susceptibles a influencias externas, la exposición a una “retórica cargada de emociones” de los chatbots de IA puede parecerles creíble y creíble, dijo Wright.

conocimiento requerido

Actualmente no existe una comprensión basada en investigaciones sobre los factores de riesgo que pueden aumentar la probabilidad de sufrir daños cuando un adolescente interactúa con un chatbot de IA.

Wright señaló que, si bien varias plataformas de chatbots de IA dejan muy claro en sus términos de servicio que no brindan servicios de salud mental, aún albergan chatbots que se autodenominan con capacitación y experiencia en salud mental.

“Estas dos cosas son opuestas”, dijo. “Los consumidores no necesariamente entienden la diferencia entre estas dos cosas, ni necesariamente deberían entenderla”.

El Dr. John Torres, psiquiatra y director de la División de Psiquiatría Digital del Centro Médico Beth Israel Deaconess en Boston, quien revisó la carta de la APA, dijo a Mashable que si bien los chatbots no hacen afirmaciones clínicas relacionadas con su IA, el lenguaje promocional y de marketing es Puede ser muy engañoso para los consumidores sobre los beneficios de su uso.

“Garantizar que el contenido de marketing coincida con los términos legales y la realidad de estos chatbots será una victoria para todos”, escribió en un correo electrónico.

Wright dijo que la APA quiere que las plataformas de chatbot de IA dejen de utilizar términos legalmente protegidos como psicólogo. También apoya una verificación sólida de la edad en estas plataformas para garantizar que los usuarios jóvenes tengan la edad que dicen tener cuando se registran, así como esfuerzos de investigación inteligentes que puedan determinar cómo les va a los adolescentes cuando realmente interactúan con chatbots de IA.

La APA, enfatizó, no se opone a los chatbots en general, pero quiere que las empresas creen productos que sean seguros, eficaces, éticos y responsables.

“Si realmente queremos abordar la crisis de salud mental, como creo que muchos de nosotros lo hacemos”, dijo Wright, “entonces es cuestión de descubrir cómo podemos lograr que los consumidores accedan a los productos adecuados que realmente los ayudarán”. .