Usages et évaluation des modèles prédictifs (première partie)

Si vous commencez à lire ce billet, vous allez probablement vous demander pourquoi je publie ce genre de choses sur un blog de Mediapart. Et je dois reconnaître qu’on est très très loin de la ligne éditoriale du journal. Mais après avoir fait le tour des plateformes de blogs et des conditions de leur utilisation, c’est finalement la plateforme qui m’offre le plus de liberté et de visibilité.
Or, il me semble que pour trouver les bons mots, les bonnes formules, les bons exemples, il faut procéder par tentatives et par retours. La tentative demande la liberté et le retour demande la visibilité...

Le devin, 1972. © Goscinny René (scénario), Uderzo Albert (dessins)

Le but de ce document est d’explorer quelques bons et mauvais usages que l’on peut faire de ce qu’on appelle les « modèles prédictifs », en particulier dans le cadre des approches dites « d’apprentissage automatique » (en anglais : machine learning). Je ne peux évidemment pas prétendre les connaître tous et d’ailleurs rien ne s’oppose à ce qu’il y en ait potentiellement une infinité. Je peux évidemment encore moins prétendre que je connais tous leurs usages. Je vais donc simplement lister avec un peu d’organisation les différentes problématiques que j’ai pu rencontrer au cours de mes lectures ou de mes propres recherches.

Questions de vocabulaire et de sens...

Étymologiquement, prédire, c’est dire d’avance. Mais d’avance sur quoi ? Sur la réalité ou sur notre perception de la réalité ?

Supposez que vous voyagez pour la première fois en Nouvelle-Zélande par train, et que par la fenêtre vous voyez un mouton noir, seul dans sa prairie. Quelle sera votre représentation de la Nouvelle-Zélande ?

Un pays dans lequel tous les moutons sont noirs ?
Un pays dans lequel au moins un mouton est noir ?
Un pays dans lequel au moins un côté d’au moins un mouton est noir ?
On peut trouver un instant suffisamment court pour considérer que le nombre de moutons en Nouvelle-Zélande est fixe et nous appelons cet instant le présent. Pourtant, même dans un instant présent ces trois généralisations peuvent être considérées comme des prédictions, supputations, hypothèses, probabilités, présomptions, conjectures, postulats, interpolations, extrapolations, paris, assomptions, présomptions, préjugés, prévisions, possibilités, éventualités, etc.

Mais quelque soit le terme utilisé, il faut avoir conscience que l’on ne prédit pas forcément l’avenir d’une réalité mais plus généralement l’avenir de notre représentation de cette réalité.

Dans notre exemple, la prédiction la plus prudente est évidemment la troisième, mais si le train s’arrête, nous aurons peut-être la chance d’observer les deux côtés d’un mouton entièrement noir et prendre le risque d’opter pour la prédiction n°2. Peut être aussi que si nous voyageons suffisamment longtemps et n’observons que des moutons dont les côtés observables sont noirs, nous opterons pour l’hypothèse 1 (après tout ce ne serait qu’une version extrême de la spécialisation d’une économie nationale). Nous pouvons nous tromper parce que nous ne pouvons pas observer tous les moutons de Nouvelle-Zélande. Nous pouvons aussi nous tromper parce qu’un nouveau mouton d’une autre couleur peut naître à tout instant postérieur à notre généralisation, mais ce n’est qu’un cas très particulier des erreurs potentielles.

Deviner c’est donc prendre le risque de décrire l’inconnu. Paradoxalement, il peut être plus difficile de prédire un inconnu passé qu’un inconnu futur ou même un inconnu proche qu’un inconnu lointain. Si vous n’en êtes pas convaincus, pensez à l’archéologie, l’astronomie, la physique quantique... Les paramètres qui influent sur la difficulté d’une prédiction peuvent être multiples et hétérogènes et les approches peuvent être prudentes ou audacieuses. Mais afin de nous placer dans une démarche constructive, nous limitons l’étude des approches prédictives à celles dont nous pouvons évaluer solidement la qualité, c’est à dire la distance qui sépare au bout du compte notre représentation de la réalité effective.

Usages et évaluation des modèles prédictifs (seconde partie)

Le chaos n’est-il qu’un aveu d’ignorance et d’incompréhension ?

« Tous les événements, ceux mêmes qui par leur petitesse, semblent ne pas tenir aux grandes lois de la nature, en sont une suite aussi nécessaire que les révolutions du soleil. Dans l’ignorance des liens qui les unissent au système entier de l’univers, on les a fait dépendre des causes finales, ou du hasard, suivant qu’ils arrivaient et se succédaient avec régularité, ou sans ordre apparent ; mais ces causes imaginaires ont été successivement reculées avec les bornes de nos connaissances, et disparaissent entièrement devant la saine philosophie, qui ne voit en elles que l’expression de l’ignorance où nous sommes des véritables causes. » [1]

Le chaos

En réalité, nous savons aujourd’hui que l’imprédictibilité n’est pas toujours la conséquence de notre ignorance de l’enchaînement des causes et des conséquences d’un événement. Sur un simple jeu de dés, on pourrait penser que si l’on connaissait parfaitement tous les paramètres lors du lancer, on pourrait en prévoir le résultat. Mais même en prenant un jeu plus simple que le jeu de dés, on peut s’apercevoir que ce n’est pas si évident. Dans l’exemple du billard de Sinaï [2], [3]...

On réalise que la plus infime variation (non mesurable expérimentalement) de l’angle initial avec lequel la boule est lancée peut changer radicalement sa position après seulement 5 rebonds. Et même en multipliant par 10 la précision de mesure de l’angle initial, on pourrait peut-être prévoir le 8e rebond, guère plus [5]. Donc, pour connaître sa position, même approximativement après un petite dizaine de rebonds, il faudrait connaître son angle initial avec une précision « infinie »... Pourtant la loi qui détermine le changement de direction de la boule à chaque rebond est extrêmement simple. La notion de chaos déterministe [6] résiste donc encore à la saine philosophie.

Nous allons voir néanmoins que contrairement à ce qu’affirme René Goscinny avec humour et quand ils suivent une certaine démarche, les devins ne sont pas forcément des charlatans.

On ne peut bien entendu pas tout prévoir, mais en espérant que ce que nous connaissons va se reproduire, avec des différences mais aussi avec des invariants, on peut formuler des hypothèses, les confronter à la réalité, les adopter, les affiner, les réfuter. C’est un même un processus qui est probablement à l’origine de la cognition et du langage humain [7].

LE DESTIN

Si le chaos existe, le déterminisme [8] existe aussi. Il existe donc toutes sortes de lois, plus ou moins précises et plus ou moins fiables qui régissent la « nature ». Nous en avons certainement découvert une partie et il en reste probablement beaucoup à découvrir. Certaines apparaissent comme inéluctables. On parlera souvent dans ce cas de liens de causes à effets. Les règles qui s’appliquent relèvent alors de la logique. Par exemple, si je prends en compte la force de gravité de la terre au niveau de sa surface, la résistance négligeable qu’oppose l’air à la chute de ma tasse de café... Si j’arrête de la serrer avec mes doigts, il est inéluctable que celle-ci finisse par percuter le sol. Et si je connais sa masse, je peux même, grâce à Isaac Newton, calculer assez précisément le temps qui me sépare de la catastrophe. Même si je conviens qu’il vaudrait mieux passer ce temps à essayer de contrer l’effet de la pesanteur. Mais dans un très grand nombre de situations, nous ne sommes ni dans un déterminisme absolu, ni dans un chaos total. Nous allons commencer par voir une de ces lois entre-deux.

Jouons à pile ou face

Si nous jouons à pile ou face et que la pièce est parfaitement équilibrée et lancée honnêtement, elle doit avoir exactement la même chance de tomber sur pile que sur face. Nous n’avons donc aucun moyen de prédire le résultat d’un lancer. Cependant, avec un grand nombre de lancers, nous pouvons prédire la proportion de face et de pile par rapport au nombre total de lancers. En effet, lorsque le nombre de lancers augmente, cette proportion devrait se rapprocher de 50%. On dira aussi que si le résultat du lancer (pile ou face) est parfaitement aléatoire, la probabilité d’obtenir face est de 0,5 et la probabilité d’obtenir pile est également de 0,5.

Pour vous en convaincre, je mets à votre disposition un fichier tableur (vous pouvez l’ouvrir avec Google Sheet et l’importer dans Libreoffice pour le retravailler tranquillement sans connexion) : Pile ou Face. Le fichier contient une simulation de 1000 lancers de pièce. Chaque case de 1ère colonne (« Tirage ») contient l’instruction suivante : =IF(RANDBETWEEN(0 ;1)=0 ; « face » ; « pile ») c’est-à-dire qu’à chaque actualisation de votre fichier, un nombre pseudo-aléatoire de valeur 0 ou 1 est généré et converti en « face » ou « pile ». Au bas de la fenêtre, vous avez 4 onglets : « Pile ou face » vous montre les chiffres et les 3 autres onglets vous montrent des graphiques générés automatiquement à partir des chiffres de l’onglet « Pile ou Face ».

Le graphique « Absolu » montre l’évolution des nombres absolus de tirages qui ont donné face et de ceux qui ont donné pile. Vous n’avez pas les mêmes données que moi au moment où j’écris ces lignes puisqu’elles sont issues d’un tirage au sort, mais je sais que vous voyez deux lignes, une bleue donnant le nombre de fois où la pièce virtuelle est tombée sur face et une rouge qui donne le nombre de fois où elle est tombée sur pile. Les deux lignes ressemblent beaucoup à des droites tremblotantes qui partent de 0 (à gauche du graphiques) et arrivent aux environs de 500 (à droite). Les deux lignes sont très proches l’une de l’autre, sans pour autant se confondre complètement.

Le graphique « Relatif » montre la même évolution mais en termes de différence entre le nombre de face et le nombre de pile. Là, je ne peux rien dire, rien prévoir. J’ai une courbe qui est tantôt positive, tantôt négative, même si globalement les écarts se creusent en négatif. Mais vous pouvez avoir une courbe très différente. La conclusion, c’est qu’il n’y a pas de « bon pari » sur un jeu de pile ou face. Quelque soit la durée du jeu et quelque soit la stratégie des joueurs, il est impossible de prédire quel joueur sortira gagnant et avec quels gains.

Et enfin, le dernier graphique (« Proportion ») montre l’évolution de la proportion de pile et de face lors des tirages. Pour celui-là, quelque soit vos données, je suis presque certain que les écarts entre la proportion de faces et la proportion de piles varient beaucoup au début, pour les faibles nombres de tirages, mais qu’elles convergent toutes deux vers 50% lorsque le nombre de tirages dépasse le millier. Je pense même qu’il est fort improbable qu’après quelques dizaines de lancers, chaque proportion soit située au dessus de 75% ou en dessous de 25%. Voilà ce que je peux dire en m’appuyant sur la théorie des probabilités.

Un devin ??? © © Goscinny René (scénario), Uderzo Albert (dessins), Le devin, 1973.