El Vector Institute ha lanzado una herramienta de IA gratuita y de código abierto diseñada para ayudar a las organizaciones a detectar, explicar y reescribir el lenguaje sesgado en contenido escrito y datos de formación en IA.
Llamada UnBias-Plus, la herramienta fue desarrollada por los científicos de investigación de Vector AI Safety y está dirigida a profesionales que trabajan en áreas donde el lenguaje puede tener consecuencias reales, tales como recursos humanos, equidad en el puesto de trabajo, asistencia sanitaria, seguros, medios de comunicación y desarrollo de IA.
El instituto con sede en Toronto dice que UnBias-Plus puede analizar el texto para un lenguaje sesgado en distintas dimensiones, como la raza, el género, la edad y el encuadre político. La herramienta explica por qué se ha marcado un lenguaje específico, sugiere alternativas más neutrales y devuelve una versión reescrita del contenido original.
Para los equipos de recursos humanos, EDI y puestos de trabajo, Vector dice que la herramienta puede utilizarse para revisar descripciones de puestos de trabajo, revisiones de rendimiento, casos de promoción y comunicaciones internas para una redacción que pueda crear barreras involuntarias para los candidatos o los empleados.
El lanzamiento llega cuando las organizaciones realizan un mayor escrutinio sobre cómo el sesgo entra tanto en los procesos del puesto de trabajo como en los sistemas de IA. Vector señaló que el sesgo en los datos de entrenamiento en IA se midió a tasas que van del 3,4% al 38,5%, mientras que incluso los grandes modelos lingüísticos ajustados a la seguridad pueden mostrar un sesgo implícito racial y de género.
«Lo que nos impulsó a construir esto fue sencillo: las personas más perjudicadas por el lenguaje sesgado son a menudo las últimas en saber que está ahí», dijo Shaina Raza, científica de aprendizaje automático aplicado, IA responsable, del Vector Institute. «Un candidato a un trabajo no sabe por qué se cierra una puerta. Queríamos hacer visible lo invisible: una herramienta gratuita que aflore el sesgo, lo explica y le ayuda a solucionarlo».
Raza dijo que la herramienta también está pensada para desarrolladores de IA y científicos de datos que desean identificar y limpiar el lenguaje sesgado antes de que se convierta en parte de los datos de entrenamiento de un modelo.
«El sesgo no sólo vive en un documento que alguien escribe hoy», dijo. «Vive en los datos que se utilizan para entrenar modelos de IA y, cuando no se detecta allí, se aprende, se replica y se despliega a escala en organizaciones enteras».
UnBias-Plus está disponible en dos formatos. Una versión basada en navegador admite contenido de hasta 750 palabras y está diseñada para uso público y pruebas organizativas. También está disponible un instalador para desarrolladores para los equipos que desean integrar la herramienta en aplicaciones, sistemas y flujos de trabajo internos.
Para los equipos de talento, el lanzamiento refleja un cambio creciente en cómo se aplica la IA a las organizaciones: no sólo para automatizar el trabajo, sino para mejorar la toma de decisiones, la comunicación y la equidad en la contratación y gestión de los empleados.
Vector dice que la herramienta la pueden utilizar los editores para revisar historias antes de su publicación, los equipos de asistencia sanitaria para evaluar las notas clínicas y las comunicaciones de los pacientes, las aseguradoras para revisar el lenguaje relacionado con la cobertura y los equipos de IA para filtrar las indicaciones, anotaciones, texto fuente y resultados del modelo.
«El liderazgo en IA de Canadá depende de la creación de sistemas que creen resultados más equitativos, lo que significa garantizar que la investigación detrás de estos sistemas sea accesible para todos», dijo Kathryn Hume, vicepresidenta de ingeniería de IA del Vector Institute. «Hacer UnBias-Plus gratuito, transparente y de código abierto es una expresión deliberada de la misión de Vector como instituto independiente y sin ánimo de lucro».
UnBias-Plus es la primera versión de lo que Vector dice que se convertirá en un conjunto más amplio de herramientas Safe AI. Se espera que las futuras actualizaciones incluyan la detección de sesgo de audio y vídeo, así como herramientas de detección de información errónea.
