La plupart d’entre nous, dans la tech, sommes fascinés par la vague incessante d’outils d’IA qui déferle sur nous presque chaque semaine. Le rythme du changement est vertigineux, et il est difficile de ne pas se laisser emporter.
Lors de mon dernier mandat, je devais aider une entreprise d’IA à améliorer sa qualité. L’objectif, dans les grandes lignes ? Construire un framework d’automatisation des tests solide, dans lequel les développeurs peuvent simplement déposer leurs tests. Ambitieux ? Absolument, surtout avec seulement 7 semaines pour y parvenir.
Ma façon d’aborder les tests
Je commence toujours par des tests exploratoires et des chartes de test. Mes chartes suivent le modèle proposé par Elisabeth Hendrickson dans Explore It :
Explore [une cible] With [une ressource] To discover [une information précise]
Les résultats d’une charte de test peuvent être :
- #bug – Un bug !
- #finding – Quelque chose d’intéressant, mais pas forcément un bug
- #idea – Une idée à soumettre à l’équipe
- #question – Un point à clarifier
- #answer – La réponse à une question précédente
- #risk – Un problème potentiel à atténuer
- #todo – Une tâche à traiter
J’y consacre environ une semaine, en signalant des bugs au fil de l’eau et en posant énormément de questions à l’équipe. Cela permet d’identifier les points sensibles : où placer des filets de sécurité et, surtout, où et comment automatiser.
Avons-nous besoin de plus de tests unitaires ? De parcours de données (DB ↔ API ↔ UI) ? De parcours utilisateurs sur plusieurs interfaces ou au sein d’une seule ? De sessions exploratoires structurées ? De tests E2E ? Souvent, c’est un peu tout cela à la fois.
L’IA générative peut apporter une foule de nouvelles idées de test, mais elles doivent être correctement structurées, un sujet que Mark Winteringham traite brillamment dans son livre Software Testing with Generative AI.
L’automatisation des tests assistée par l’IA
Pour construire les cas de test automatisés, je me suis largement appuyé sur l’IA. Comme je travaillais avec une entreprise d’IA, je leur ai posé directement la question : que me recommanderiez-vous pour accélérer mon travail sans sacrifier la qualité ?
Ils m’ont fait découvrir deux outils qui ont tout changé :
- Windsurf – J’utilisais Copilot et j’envisageais Cursor, mais ils m’ont conseillé de laisser tomber les deux et de passer directement à Windsurf.
- Warp – Avant, j’utilisais mods, mais Warp est une CLI dans laquelle l’IA est intégrée dès la conception.
Pour faire court : en 7 semaines, nous étions deux de House of Test Switzerland à construire et intégrer deux frameworks de test dans leur pipeline, entre autres réalisations dont nous étions particulièrement fiers.
À quelle vitesse l’IA peut-elle construire un framework de test ?
Une fois le projet terminé, je me suis demandé : en combien de temps pourrais-je construire un framework de tests automatisés avec des outils d’IA ?
J’ai donc fait l’essai avec houseoftest.ch.
- J’ai créé un dossier de projet vide et je l’ai ouvert dans Windsurf.
- Prompt : J’ai besoin d’un nouveau projet. Je dois tester ce site web avec Playwright en Python : https://www.houseoftest.ch/. Il faut couvrir tous les éléments de menu et toutes les langues. Les tests doivent s’exécuter via pytest.
Quinze minutes plus tard, j’avais un framework avec des tests. J’ai demandé à Windsurf de les lancer et, évidemment, ils ont tous échoué. Alors :
- Je lui ai demandé de corriger les tests et d’ajouter un reporting par e-mail. Il a passé 45 minutes à ajouter le code d’envoi des e-mails, à refactorer, déboguer, stabiliser, et même à générer des outils d’analyse.
- Une heure plus tard, j’avais exactement ce dont j’avais besoin.
Ensuite, je lui ai demandé de générer un README.md pour que les développeurs puissent installer le framework. Plus précisément, j’ai exigé que les instructions prévoient un déploiement sur une instance cloud Ubuntu. 10 secondes plus tard : c’était fait.
J’ai déployé le code chez mon fournisseur cloud préféré (lunanode), j’ai dû retoucher légèrement le README (Windsurf s’était emmêlé dans quelques étapes d’installation propres à Ubuntu), puis je suis passé à la planification de l’exécution des tests.
J’ai demandé à Warp : quel est le meilleur outil de planification pour Linux ?
Il m’a répondu que cron restait une option solide et m’a demandé s’il devait créer l’entrée crontab. Oui, pourquoi pas ? Et hop, les tests étaient planifiés toutes les heures, avec les rapports envoyés directement à mon chef. 🙂
L’IA est un outil, pas un remplaçant
L’IA est puissante, mais utiliser ces outils à l’aveugle ne mène pas loin. En tant qu’ingénieurs de test, nous devons :
- Identifier les points faibles du système
- Déterminer quel travail est nécessaire (framework ? pipeline ? expérimentation ?)
- Repérer les lacunes de communication
- Veiller à ce que les équipes soient alignées sur les stratégies de test et de release
Tout l’enjeu est de déterminer ce dont on a besoin et de choisir le meilleur outil pour y parvenir.
Dites-nous si vous avez besoin d’aide ! 🚀
Tout au long d’une carrière aux multiples rôles, même comme développeur, j’ai toujours aimé tester les produits sur lesquels je travaillais. Michael Bolton et James Bach m’ont fait plonger plus loin dans le test context-driven, et House of Test est le seul endroit en Suisse où je peux le pratiquer avec des personnes qui partagent la même vision.
