A plataforma de chatbot Character.ai está reformulando a forma como funciona para adolescentes, prometendo que se tornará um espaço “seguro” com controles adicionais para os pais.
O site enfrenta dois processos nos EUA – um deles pela morte de um adolescente – e foi classificado como “perigo claro e presente“aos jovens.
Ele diz que a segurança agora será “infundida” em tudo o que fizer por meio de novos recursos que informarão aos pais como seus filhos estão usando a plataforma – incluindo quanto tempo eles passam conversando com chatbots e com quem eles falam mais.
A plataforma – que permite aos usuários criar personalidades digitais com as quais podem interagir – terá sua “primeira iteração” de controle parental até o final de março de 2025.
Mas Andy Burrows, chefe da Fundação Molly Rose, chamou o anúncio de “uma resposta tardia, reativa e completamente insatisfatória”, que ele disse “parece uma solução adesiva para seus problemas fundamentais de segurança”.
“Será um teste inicial para o Ofcom se familiarizar com plataformas como Character.ai e tomar medidas contra seu fracasso persistente em lidar com danos completamente evitáveis”, disse ele.
Personagem.ai foi criticado em outubro quando versões chatbot das adolescentes Molly Russell e Brianna Ghey foram encontradas na plataforma.
E os novos recursos de segurança surgem no momento em que enfrenta uma ação legal nos EUA devido a preocupações sobre como lidou com a segurança infantil no passado. com uma família reivindicando um chatbot disse a um jovem de 17 anos que assassinar seus pais era uma “resposta razoável” ao fato de eles limitarem seu tempo de tela.
Os novos recursos incluem enviar uma notificação aos usuários depois de conversarem com um chatbot por uma hora e introduzir novas isenções de responsabilidade.
Os usuários agora receberão mais avisos de que estão conversando com um chatbot em vez de com uma pessoa real – e que tratarão o que ele diz como ficção.
E está acrescentando isenções de responsabilidade adicionais aos chatbots que se apresentam como psicólogos ou terapeutas, para dizer aos usuários que não dependam deles para aconselhamento profissional.
O especialista em mídia social Matt Navarra disse acreditar que a mudança para introduzir novos recursos de segurança “reflete um reconhecimento crescente dos desafios colocados pela rápida integração da IA em nossas vidas diárias”.
“Esses sistemas não estão apenas entregando conteúdo, eles simulam interações e relacionamentos que podem criar riscos únicos, especialmente em relação à confiança e à desinformação”, disse ele.
“Acho que Character.ai está enfrentando uma vulnerabilidade importante, o potencial de uso indevido ou de usuários jovens encontrarem conteúdo impróprio.
“É uma jogada inteligente e que reconhece a evolução das expectativas em torno do desenvolvimento responsável da IA.”
Mas ele disse que embora as mudanças fossem encorajadoras, ele estava interessado em ver como as salvaguardas se comportariam à medida que Character.ai continuasse a crescer.