En tant que responsable des tests ou chef d’équipe, j’utilise l’IA pour garder mes capacités de décision affûtées. Et j’évalue l’IA en même temps !
Ce n’est un secret pour personne : j’ai été pilote et j’ai travaillé sur plusieurs avions militaires, ce qui m’a familiarisé avec les armements, la guerre électronique et les théâtres d’opérations. Si vous lisez entre les lignes, j’ai écrit « décisions plus rapides » et non « meilleures décisions ». Seul le temps révèle l’issue d’une décision. 33 moteurs sur une fusée au lieu de 5 ? Une décision folle à première vue, n’est-ce pas (SpaceX) ?
Les pilotes sont entraînés à décider vite. Mais quel processus se cache derrière cette rapidité ? Et quel rapport avec le Risk-Based Testing, le pairing, le Context-Driven Testing, la gestion des campagnes de test, la gestion des ressources, la gestion des données et la gestion de la communication ?
Mon entraînement s’articule autour d’un simulateur de combat aérien très réaliste, propulsé par l’IA, avec des outils de briefing, d’analyse des menaces et de planification pour la définition des objectifs. Pour l’évaluation des performances de l’IA et des miennes, j’utilise un outil de débriefing qui me permet de mener une rétro.
Mon cockpit de simulation repose sur les logiciels et le matériel suivants :
- Moteur de jeu Digital Combat Sim, propulsé par l’IA : le camp Red se déplace et réagit face au camp Blue en fonction de plusieurs facteurs (altitude, vitesse, utilisation d’un radar actif ou d’un brouilleur radar...), si bien qu’une même mission ne se déroule jamais deux fois de la même façon. Mon escadrille est elle aussi pilotée par l’IA, mais je peux en reprendre le contrôle à tout moment (sauter dans le cockpit). Si vous voulez en savoir plus sur l’IA dans DCS, « Growling Sidewinder », de la communauté DCS, en fait la démonstration ici (en anglais).
- Briefing et planification de mission Digital Combat Sim : les informations recueillies par le « renseignement » et votre infrastructure s’affichent sur une carte. C’est un instantané de la situation (moyens déployés, zones sûres, menaces, systèmes de défense).
- TACVIEW pour la vue en temps réel du théâtre d’opérations et le débriefing : ce logiciel collecte les paramètres (télémétrie) de tous les objets suivis (véhicules, missiles, navires, avions) et les restitue en temps réel dans un environnement 3D. Je peux ensuite « rejouer » la mission pour en mesurer l’efficacité et le taux de réussite. Ce logiciel est utilisé par l’Armée de l’air française lors de véritables sessions d’entraînement.
- HOTAS (Hands On Throttle And Stick) : une réplique grandeur nature du « joystick » et de la manette des gaz de l’A10 (le « tueur de chars »). Le système compte 55 boutons au total, qui me donnent accès à 151 fonctions.
- VoiceAttack, système de reconnaissance vocale : il m’aide à envoyer des ordres à mon escadrille, à suivre en temps réel tous les engagements et à commander certains systèmes secondaires de l’avion.
Chapitre 1 : Briefing d’information
Le briefing est une présentation structurée qui sert à transmettre des informations, à donner des instructions ou à faciliter la prise de décision. Il est essentiel pour que tout le personnel soit informé, aligné et prêt à assumer ses rôles et responsabilités. Graphiques, cartes, schémas et diapositives viennent souvent enrichir la présentation et illustrer les points clés. Ces supports rendent les informations complexes plus accessibles et plus faciles à comprendre.
Chapitre 2 : Briefing de décision
Sur la base du briefing précédent, j’évalue la « qualité » des informations présentées et les capacités de fusion de données de Red. Combien de troupes ont-ils, où sont-elles, peuvent-ils me détecter, quelle est la portée de leurs armes, d’où vient leur ravitaillement, quels sont les risques et comment puis-je contenir ces risques ? Quel est le rayon d’action de mon escadrille, combien de carburant par rapport aux armes pouvons-nous emporter, dois-je « spécialiser » un avion pour une partie de la mission ?
Un exemple du processus de décision :
Si je dois utiliser une AGM 154 (bombe planante), je dois tenir compte du vent. Une bombe à guidage laser Paveway exige une certaine visibilité, mais je devrai alors « sacrifier » un point d’emport pour la nacelle de désignation laser / caméra InfraRouge. Si la journée est trop chaude dans le désert, l’image IR sera médiocre. Trop froide, et la chaleur des réacteurs attirera les autodirecteurs de leurs missiles IR. À quelle vitesse Red va-t-il réagir ? Je peux peut-être envoyer une partie de mon escadrille en avant pour neutraliser leur radar ou leur système de défense (attaque au sol), puis effectuer un second passage avec mon escadrille.
Chapitre 3 : Briefing de mission
L’accent est mis ici sur les détails de la mission ou de l’opération concernée : objectifs, tactique, logistique, ROE (Rules Of Engagement, ou règles d’engagement) et plans de contingence.
Les ROE couvrent les aspects suivants (n’hésitez pas, en lisant, à transposer certains termes dans le monde de l’ingénierie logicielle et matérielle) :
- Conformité juridique : respect du droit international
- Orientation opérationnelle : éviter tout usage inutile ou excessif de la force.
- Objectifs de la mission : s’assurer que l’usage de la force est aligné sur les objectifs globaux de l’opération.
- Protection des non-combattants : éviter ou réduire au minimum les dommages collatéraux
- Flexibilité et adaptabilité : adapter les ROE à l’évolution de la situation.
Place à Jira !
Je vais maintenant implémenter la mission dans le système. Elle comprend plusieurs étapes qui ressembleraient à des tickets Jira attribués à différentes équipes. Ces tickets sont liés entre eux par des dépendances. Dans mon installation, ce sont des « déclencheurs » dotés d’une logique sophistiquée (si cette partie de la mission (le ticket) a obtenu plus de X, alors faire ceci, sinon faire cela). Chaque ticket contribue au score global de la mission. Lorsque ce score atteint un certain nombre de « points », la mission est déclarée réussie et je donne à mon escadrille l’ordre « retour à la base ».
Chapitre 4 : Briefing d’état-major
Il sert à coordonner les activités et à partager l’information entre les membres de l’état-major. Dans le jeu, ces tâches restent invisibles, mais en gros, toutes les équipes connaissent les fréquences radio à utiliser, les codes de la désignation laser et les endroits où déployer les moyens.
Chapitre 5 : Exécution de la mission – IA contre humain
Après les check-lists habituelles avant le vol, il est temps de lancer les réacteurs du F/A-18 Hornet (ou de l’avion jugé le plus adapté à la mission).
L’IA a été programmée par des humains et entraînée sur des scénarios créés par des humains : je m’attends donc à des réactions « humainement prévisibles ». C’est là qu’entre en jeu le framework Cynefin, utilisé par les militaires. J’entre clairement dans le domaine complexe. L’approche Probe-Sense-Respond est la bonne. La seconde approche que je dois introduire en même temps est la fusion des données de mes capteurs embarqués. J’avais publié il y a quelques mois un article sur la fusion de données dans les avions de chasse, à lire ici (en anglais). Ce sera un indicateur de la qualité de l’évaluation des menaces et de la planification de la mission.
En bref, je pourrais l’écrire en Gherkin à peu près ainsi (version simplifiée, pour éviter le TL;DR) :
Scénario : voler sous la ligne de visée, radar coupé, pour rester indétecté.
Étant donné que je suis dans mon F/A-18
Et que mon avion vole à moins de 6’000 pieds au-dessus d’un terrain plat
Et que le radar de RED se trouve à plus de 176,18962149 km (Line Of Sight, ligne de visée)
Quand mon radar est en STANDBY
Alors le radar de RED ne peut pas me détecter.
Parfait ! Ça fonctionne : je vois les autres avions RED tourner en rond au lieu de se diriger vers moi. Cette information m’est fournie par le DATALINK de l’AWACS (radar aéroporté) que j’ai déployé lors de la préparation de la mission.
Étape suivante : diviser l’escadrille et envoyer un groupe à 45 degrés de la trajectoire pendant que j’attire l’attention de l’ennemi sur moi. Pour cela, je fais du pairing avec trois ailiers. Nous montons en postcombustion à 14’000 pieds et, une fois l’altitude atteinte, nous allumons nos radars et nos brouilleurs. Ainsi, l’IA devrait croire que nous sommes peut-être un grand groupe d’avions fonçant vers RED.
Parfait ! Ça fonctionne : RED se dirige vers mon petit groupe et non vers le groupe détaché.
Étape suivante : faire croire à l’IA que je vais poursuivre sur cette route ! En même temps, je vole droit sur eux. Une fois certain que RED nous suit au radar, j’effectue un virage à 90 degrés pour me placer dans le « notch » de leur radar.
Parfait ! Ça fonctionne : ils poursuivent leur route pendant que je vole à 90 degrés de la trajectoire.
La mission se poursuit jusqu’au bout, ou jusqu’à ce que je donne l’ordre « retour à la base ». Tout au long de la mission, je suis informé de tous les événements majeurs grâce à une phraséologie radio stricte. Ces données alimentent ma gestion des ressources et le suivi de l’avancement de la mission. Lorsqu’un événement survient, je dois réévaluer la situation, les ressources et les objectifs, et prendre les bonnes décisions.
Chapitre 6 : Évaluation de la mission et de l’IA
L’évaluation de la mission se fait avec TACVIEW. L’évaluation de l’IA s’appuie sur les informations (télémétrie) disponibles dans TACVIEW.
Quelques exemples où l’IA ne fonctionne pas correctement :
Au retour à la base, lors de l’appontage sur le porte-avions ou de l’atterrissage sur la base aérienne, la priorité revient aux avions endommagés ou à ceux qui sont à court de carburant. Ce n’est pas respecté.
Certains avions sont bien trop lourds pour apponter sur le porte-avions : ils auraient dû larguer une partie de leurs armes avant l’appontage, mais ne l’ont pas fait. Ce n’est pas respecté.
En combat rapproché, mes ailiers sont souvent trop près de moi, à la même altitude, alors qu’ils devraient être plus haut pour me couvrir au cas où un autre avion tenterait de se placer dans mes 6 heures (derrière moi).
Sur quelle base évaluer l’IA, alors ?
Le combat aérien a été affiné au fil des ans par de nombreux aviateurs. Top Gun, ça vous dit quelque chose ? J’ai appris et pratiqué pendant de longues heures les bases, puis les différentes tactiques du combat aérien. Je combine ces connaissances avec ce que je sais des capacités techniques des radars, des cellules, de l’aérodynamique et des armes. Je pourrais préparer et effectuer la même mission plusieurs fois, elle se déroulerait différemment à chaque fois, m’obligeant à prendre des décisions, parfois des décisions instantanées quand je me rapproche de RED à 686 mètres par seconde ou qu’un missile fonce sur moi avec une vitesse de rapprochement de 1’715 mètres par seconde.
Au final, je dois répondre à ces questions lors du débriefing ou de la rétro :
Quels efforts avons-nous déployés durant cette mission, et qu’avons-nous accompli ? Autrement dit : « Quel a été notre ROI (retour sur investissement) ? » Combien de membres de l’équipe avons-nous perdus ? Avons-nous modifié les règles d’engagement pour nous adapter à la situation ? Comment aurais-je pu mieux m’en sortir dans ce combat rapproché (voler plus lentement, larguer des armes pour être plus léger et disposer d’un avion plus agile) ?
À retenir
Même si j’ai une vaste expérience du test de systèmes complexes et compliqués, je me décrirais exactement comme sur ma carte de visite lorsque je travaillais sur le Boeing 777 : « Test and Evaluation pilot ».
Autrement dit, on doit pouvoir tester des parties d’une IA, mais on ne peut évaluer l’IA que dans son ensemble.
Le transfert de connaissances et de compétences est largement sous-estimé par les ressources humaines. Demandez-vous simplement pourquoi d’anciens Marines sont privilégiés pour certains postes dans des entreprises américaines.
Les projets aéronautiques, aérospatiaux et militaires sont à la pointe mondiale en matière de progrès technologique. Ils y parviennent en réunissant les bons cerveaux dans leurs équipes, mais aussi grâce à des méthodologies bien établies et éprouvées.
J’aide les équipes à comprendre comment leurs systèmes se comportent quand la réalité se complique. Je repère les schémas qui échappent aux autres et je les explique simplement. En dehors du travail, je bricole de petits montages électroniques et je remets en état des appareils, surtout parce que j’aime savoir exactement comment et pourquoi les choses tombent en panne.
