Qu’est-ce qu’une boîte noire IA ?

Le professeur Saurabh Bagchi de l’Université Purdue explique le but des boîtes noires de l’IA et pourquoi les chercheurs s’orientent vers une “IA explicable”.

Pour certaines personnes, le terme «boîte noire» évoque les appareils d’enregistrement dans les avions qui sont précieux pour les analyses post-mortem si l’impensable se produit. Pour d’autres, il évoque de petits théâtres peu équipés. Mais la “boîte noire” est aussi un terme important dans le monde de l’intelligence artificielle.

IA boîtes noires font référence à des systèmes d’IA dont le fonctionnement interne est invisible pour l’utilisateur. Vous pouvez leur donner une entrée et obtenir une sortie, mais vous ne pouvez pas examiner le code du système ou la logique qui a produit la sortie.

L’apprentissage automatique est le sous-ensemble dominant de l’intelligence artificielle. Il sous-tend les systèmes d’IA générative comme ChatGPT et DALL-E 2. L’apprentissage automatique comporte trois composants : un algorithme ou un ensemble d’algorithmes, des données d’entraînement et un modèle.

Un algorithme est un ensemble de procédures. Dans l’apprentissage automatique, un algorithme apprend à identifier des modèles après avoir été entraîné sur un grand nombre d’exemples – les données d’entraînement. Une fois qu’un algorithme d’apprentissage automatique a été formé, le résultat est un modèle d’apprentissage automatique. Le modèle est ce que les gens utilisent.

Par exemple, un algorithme d’apprentissage automatique pourrait être conçu pour identifier des modèles dans les images et les données d’entraînement pourraient être des images de chiens. Le modèle d’apprentissage automatique qui en résulterait serait un guetteur de chiens. Vous lui donneriez une image en entrée et vous obtiendriez en sortie si et où dans l’image un ensemble de pixels représente un chien.

N’importe lequel des trois composants d’un système d’apprentissage automatique peut être caché ou dans une boîte noire. Comme c’est souvent le cas, l’algorithme est connu du public, ce qui rend moins efficace sa mise dans une boîte noire. Ainsi, pour protéger leur propriété intellectuelle, les développeurs d’IA placent souvent le modèle dans une boîte noire. Une autre approche adoptée par les développeurs de logiciels consiste à obscurcir les données utilisées pour former le modèle – en d’autres termes, à placer les données de formation dans une boîte noire.

L’opposé d’une boîte noire est parfois appelé un boîte en verre. Une boîte en verre d’IA est un système dont les algorithmes, les données d’entraînement et le modèle sont tous accessibles à tous. Mais les chercheurs caractérisent parfois même certains aspects de ceux-ci comme une boîte noire.

C’est parce que les chercheurs ne comprends pas tout à fait comment les algorithmes d’apprentissage automatique, en particulier l’apprentissage en profondeur algorithmes, fonctionnent. Le domaine de IA explicable travaille à développer des algorithmes qui, bien que n’étant pas nécessairement une boîte de verre, peuvent être mieux compris par les humains.

Sortir de la boîte noire

Dans de nombreux cas, il y a de bonnes raisons de se méfier des algorithmes et des modèles d’apprentissage automatique de la boîte noire. Supposons qu’un modèle d’apprentissage automatique ait établi un diagnostic sur votre santé. Souhaitez-vous que le modèle soit une boîte noire ou une boîte en verre ? Qu’en est-il du médecin prescrivant votre traitement ? Peut-être aimerait-elle savoir comment le modèle est arrivé à sa décision.

Que se passe-t-il si un modèle d’apprentissage automatique qui détermine si vous êtes admissible à un prêt commercial auprès d’une banque vous refuse ? Vous n’aimeriez pas savoir pourquoi ? Si vous le faisiez, vous pourriez plus efficacement faire appel de la décision ou modifier votre situation pour augmenter vos chances d’obtenir un prêt la prochaine fois.

Les boîtes noires ont également des implications importantes pour la sécurité du système logiciel. Pendant des années, de nombreuses personnes dans le domaine de l’informatique ont pensé que conserver un logiciel dans une boîte noire empêcherait les pirates de l’examiner et qu’il serait donc sécurisé. Cette hypothèse s’est largement avérée fausse car les pirates peuvent désosser un logiciel – c’est-à-dire créer un fac-similé en observant de près le fonctionnement d’un logiciel – et découvrir des vulnérabilités à exploiter.

Si le logiciel est dans une boîte en verre, les testeurs de logiciels et les pirates bien intentionnés peuvent l’examiner et informer les créateurs des faiblesses, minimisant ainsi les cyberattaques.

Par Professeur Saurabh Bagchi

Saurabh Bagchi est professeur de génie électrique et informatique et directeur des partenariats d’entreprise à l’École de génie électrique et informatique de Université Purdue aux Etats-Unis. Ses intérêts de recherche incluent l’informatique fiable et les systèmes distribués.

10 choses que vous devez savoir directement dans votre boîte de réception chaque jour de la semaine. Inscrivez-vous pour le Bref quotidienle résumé de l’actualité scientifique et technologique essentielle de Silicon Republic.