2.4 Evaluación de la interpretabilidad

No existe un consenso real sobre qué es la interpretabilidad en el aprendizaje automático. Tampoco está claro cómo medirla. Pero hay una investigación inicial sobre esto y un intento de formular algunos enfoques para la evaluación, como se describe en la siguiente sección. Doshi-Velez y Kim (2017) proponen tres niveles principales para la evaluación de la interpretabilidad:

Evaluación del nivel de aplicación (tarea real): Pon la explicación en el producto y haz que el usuario final lo pruebe. Imagina un software de detección de fracturas con un componente de aprendizaje automático que localiza y marca fracturas en rayos X. A nivel de aplicación, los radiólogos probarían el software de detección de fracturas directamente para evaluar el modelo. Esto requiere una buena configuración experimental y una comprensión de cómo evaluar la calidad. Una buena base para esto es siempre qué tan bueno sería un humano para explicar la misma decisión.

Evaluación a nivel humano (tarea simple) Es una evaluación de nivel de aplicación simplificada. La diferencia es que estos experimentos no se llevan a cabo con expertos en el dominio, sino con personas ‘laicas’. Esto hace que los experimentos sean más baratos (especialmente si los expertos en el dominio son radiólogos) y es más fácil encontrar más evaluadores. Un ejemplo sería mostrarle a un usuario diferentes explicaciones y el usuario elegiría la mejor.

La evaluación del nivel de función (tarea proxy) no requiere humanos. Esto funciona mejor cuando la clase de modelo utilizada ya ha sido evaluada por otra persona en una evaluación a nivel humano. Por ejemplo, podría saberse que los usuarios finales entienden los árboles de decisión. En este caso, un proxy para la calidad de la explicación puede ser la profundidad del árbol. Los árboles más cortos obtendrían una mejor puntuación de explicabilidad. Tendría sentido agregar la restricción de que el rendimiento predictivo del árbol siga siendo bueno y no disminuzca demasiado en comparación con un árbol más grande.

El próximo capítulo se centra en la evaluación de explicaciones para predicciones individuales. ¿Cuáles son las propiedades relevantes de las explicaciones que consideraríamos para su evaluación?