Un grupo de ingenieros de Google estaba trabajando en el desarrollo de un software de IA que, de forma totalmente inesperada, adquirió la habilidad de entender un nuevo idioma. James Maneka, Jefe de la división de IA de Google, manifestó en una entrevista: “Le dimos muy pocas indicaciones en bengalí, y ahora puede traducir todo a ese idioma. […] No se entiende del todo, no podemos decir por qué la IA dijo esto o por qué se equivocó en lo otro. Tenemos algunas ideas y nuestra capacidad de entendimiento mejora con el tiempo, pero ahí es donde estamos ahora”.
Sundar Pichai, Director Ejecutivo de Google dijo al respecto que esta capacidad de los programas de IA de generar habilidades u ofrecer respuestas de manera inesperada es lo que los expertos denominan “caja negra”, pero, ¿qué es eso exactamente?
A diferencia de la programación de software más tradicional, en el desarrollo de IA los ingenieros trabajan para conseguir un sistema que emule las redes neuronales de la inteligencia humana. Esto implica una gran cantidad de procesadores interconectados que pueden manejar grandes volúmenes de datos, detectar patrones entre millones de variables empleando el aprendizaje automático y, más importante, autoadaptarse en respuesta a lo que están aprendiendo o haciendo.
En el enfoque de red neuronal, el procedimiento de entrenamiento determina la configuración de millones de parámetros internos que interactúan de manera compleja y son muy difíciles de explicar. La aplicación de ingeniería inversa, en este caso también se vuelve una tarea imposible por los niveles de complejidad. Otra tendencia igual de importante es el “aprendizaje de refuerzo profundo” en el que un desarrollador simplemente especifica los objetivos de comportamiento del sistema y este aprende automáticamente interactuando de manera directa con el entorno. Todo esto da como resultado un sistema que es aún más difícil de entender.
Dicho de otra forma y en los términos más sencillos, la “caja negra” es aquella parte del sistema cuyo funcionamiento interno es desconocido o muy difícil de comprender. No se sabe exactamente cómo se están tomando las decisiones o qué variables se emplean para generar los resultados, estos simplemente se generan.
