Introduction, rappels sur le processus du test logiciel

• Rôle du test dans le processus de développement.
• Les tests : unitaires, fonctionnels, etc.
• Les différentes méthodes de test.
• Processus de test et stratégie de test.
• Outils et méthodes intervenant à différentes étapes.

Automatisation de la gestion des tests

• Gestion de la couverture des exigences par les tests. Notion de couverture et de granularité.
• Démarche de mise au point : organisation des suites de tests et création des cas.
• Faut-il automatiser un test ? Critères à prendre en compte ?
• Préparation à l'automatisation.
• Construction de la population de test.
• Mise au point et vérification des tests (Revue)
• Exécution, enregistrement des anomalies. Notion de rapport d'incident d'après l'IEEE.
• Gestionnaires d'anomalies. Automatisation de la création des anomalies.
• Analyse de résultats d'exécution de tests. Consolidation des tests.

Automatisation des tests unitaires

• Organisation et bonnes pratiques pour les tests unitaires.
• Critères d'automatisation.
• Tests unitaires : Tests Driven Development.
• Mesure de la couverture de code : couverture des tests structurels, couverture d'instructions et branches.
• Analyse statique de code : analyse outillée du code source hors exécution (règles de codage) : Checkstyle, Cobertura.
• Automatisation avec un fichier de configuration.
• Analyse dynamique de code : couverture des instructions, des branches, des prédicats...
• Automatisation avec un outil d'analyse de couverture.
• Organisation des tests unitaires, pair programming, pair testing.
• Utilisation des frameworks : gestion des scripts de tests, gestion des données de tests, récupération des résultats.

Automatisation des tests d'intégration

• Stratégies propres à l'intégration : big-bang, "au fil de l'eau", par incréments etc.
• Intégration ascendante versus descendante. Intégrations mixtes.
• Objets simulacres : bouchons pour simuler les fonctions appelées, mocking pour remplacer un objet. Les frameworks.
• Intégration continue : mise en place de gestionnaire de configuration, constructeur de build, outils de pilotage.
• Focus sur un gestionnaire de configuration logiciel.
• Signalement automatique des anomalies.
• Exécution automatique et cyclique des tests logiciels.
• Focus sur un constructeur de build.
• Focus sur un serveur d'intégration continue.

Automatisation du test fonctionnel

• Définition du test fonctionnel, non-régression.
• Le test simulant l'action des utilisateurs à partir des interfaces utilisateurs (IHM).
• Constats sur l'automatisation du test fonctionnel.
• Automatisation des tests via l'IHM, via des interfaces de programmation (API).
• Chaîne d'outils, robots de test, script (API publiques).
• Gestion de l'obsolescence des tests.

Automatisation des tests système

• Les différents type de tests système : performance, charge, stress.
• Constats sur les tests de performance.
• Tests de performance, définition des indicateurs.
• Scripts de tests de performance. Mise en œuvre d'outils et analyse.
• Tests de montée en charge, tests de stress : présentation des indicateurs clés et de l'outillage.
• Gérer la base de données de tests. Gestion du contexte.

Synthèse

• Automatisation des tests : coût directs, indirects.
• Gains quantitatifs de l'automatisation : volumétrie, modularité...
• Gains qualitatifs de l'automatisation : mode opératoire sauvegardé, pas d'erreur, confiance...
• Mesure du retour sur investissement.