Comment rater son application : Oublier de tester sur le terrain

Tout développeur mobile sérieux teste son travail. Mais il y a un écart significatif entre tester dans un environnement contrôlé et tester dans le monde réel. L'une des erreurs les plus courantes et les plus coûteuses que je vois dans les projets mobiles est de traiter les tests sur simulateur comme une validation suffisante. Ce n'est jamais le cas.

Ce que les simulateurs ne peuvent pas détecter

Un simulateur tourne sur une machine rapide avec une connexion réseau parfaite dans un bureau climatisé. Vos utilisateurs vivent ailleurs. Ils sont dehors en plein soleil et tentent de lire un texte qui devient soudainement invisible par éblouissement. Ils sont sur une connexion 3G instable dans un parking quand votre app attend une réponse rapide de l'API. Leur téléphone a deux ans avec 80% de sa RAM consommée par des processus en arrière-plan, et les performances de votre app sur un appareil de test dernière génération ne vous disent rien sur cette expérience.

Les tests terrain révèlent une classe de bugs entièrement différente : problèmes de mise en page sur des tailles d'écran spécifiques et des paramètres d'échelle de texte, flux d'autorisation de caméra qui se comportent différemment sur les anciennes versions Android, problèmes de précision GPS en environnement urbain dense, et échecs de couplage Bluetooth sur des combinaisons matérielles spécifiques. Aucun de ces problèmes n'est détectable depuis un bureau.

À quoi ressemble un vrai test terrain

Un test terrain efficace signifie mettre une version entre les mains de personnes qui ne sont pas les développeurs, sur les appareils qu'elles possèdent réellement, dans des environnements qui reflètent les cas d'usage réels. Pour une application retail, cela signifie tester dans un magasin animé avec du bruit de fond et la proximité d'un terminal de paiement. Pour une application de santé, cela signifie tester pendant une activité physique réelle avec transpiration et mouvement.

Le facteur le plus important n'est pas le nombre de sessions de test — c'est la diversité des conditions. Cinq personnes testant dans cinq contextes réels différents feront remonter davantage de problèmes significatifs que cinquante personnes testant sur le même appareil dans la même salle. J'intègre des phases de tests terrain dans chaque projet sur lequel je travaille, car le coût de découvrir des problèmes critiques après le lancement est toujours dramatiquement plus élevé qu'avant.

Le coût de sauter cette étape

Un avis une étoile disant "plante à chaque fois que j'essaie de scanner un QR code en plein soleil" n'est pas seulement un avis négatif. C'est un signal d'alarme pour chaque utilisateur potentiel qui le lit avant de télécharger. La réputation sur les stores est extrêmement difficile à récupérer une fois endommagée. L'investissement le plus efficace que vous puissiez faire dans l'accueil public de votre app est des tests terrain approfondis avant le lancement, pas des mises à jour d'excuse après.

Vous voulez un ingénieur produit qui fait des tests terrain une partie standard du processus ? Discutons de votre projet.