Roblox, la plataforma de videojuegos en línea popular entre niños y adolescentes, lanzó una versión de código abierto de un sistema de inteligencia artificial diseñado para detectar de forma preventiva lenguaje con fines de explotación en las conversaciones dentro de los juegos.
La medida surge mientras la compañía enfrenta demandas y críticas por presuntamente no hacer lo suficiente para proteger a los menores de depredadores.
En julio, una demanda presentada en Iowa acusó que una niña de 13 años fue contactada por un adulto en Roblox, secuestrada, trasladada por varios estados y víctima de explotación sexual. El caso argumenta que ciertas funciones de diseño de la plataforma facilitan que los menores sean vulnerables ante abusadores.
La empresa asegura que busca que sus sistemas sean seguros por defecto, aunque reconoce que ningún sistema es infalible y que uno de los mayores retos de la industria es detectar riesgos como el posible peligro para menores.
El sistema, llamado Sentinel, identifica señales tempranas de riesgo, como lenguaje con contenido sexual. Según Roblox, esta tecnología permitió enviar mil 200 reportes de posibles intentos de explotación infantil al Centro Nacional para Niños Desaparecidos y Explotados durante la primera mitad de 2025. Ahora, la compañía trabaja para liberar el código y permitir que otras plataformas lo utilicen.
Detectar de forma anticipada posibles peligros para los menores puede ser complicado para sistemas de IA y para humanos, ya que las conversaciones pueden parecer inofensivas al inicio. Preguntas como la edad o el lugar de residencia pueden no generar sospechas de forma aislada, pero adquieren otro significado al analizarse en el contexto de un intercambio más largo.
Roblox, con más de 111 millones de usuarios mensuales, no permite compartir videos o imágenes en los chats e intenta bloquear información personal como números telefónicos, aunque reconoce que siempre hay intentos de eludir estas medidas. Además, los menores de 13 años no pueden chatear fuera de los juegos sin autorización expresa de sus padres, y a diferencia de muchas otras plataformas, Roblox no cifra los chats privados, lo que permite supervisarlos y moderarlos.
Sentinel analiza fragmentos de conversaciones de un minuto —aproximadamente 6 mil millones de mensajes al día— y los evalúa en busca de riesgos. Para ello, la compañía desarrolló dos índices: uno con mensajes benignos y otro con interacciones clasificadas como violaciones por poner en riesgo a menores. Esto permite detectar patrones dañinos considerando el contexto completo, no solo palabras o frases específicas.
El sistema asigna una puntuación a los usuarios con base en su comportamiento conversacional, determinando si se acercan más al perfil seguro o al riesgoso. Cuando un caso se considera de alto riesgo, el equipo revisa todas las interacciones, contactos y juegos del usuario, y reporta a las autoridades cuando es necesario.
