Shadish, Cook et Campbell proposent un cadre exhaustif pour évaluer la validité causale des recherches empiriques, distinguant les menaces internes et externes à la validité. Cet ouvrage de référence fournit les critères permettant de juger si une étude démontre réellement ce qu'elle prétend démontrer.
Affirmer qu'un phénomène A cause un phénomène B est l'ambition centrale de toute science empirique. Pourtant, cette affirmation exige des conditions méthodologiques extrêmement strictes que la majorité des études observationnelles ne remplissent pas. Shadish, Cook et Campbell, dans ce manuel publié en 2002, systématisent les raisonnements nécessaires pour distinguer une corrélation fortuite d'un lien causal authentique. Leur grille classe les menaces à la validité en quatre catégories : validité interne, validité externe, validité de construit, et validité statistique.
La validité interne désigne la confiance avec laquelle on peut affirmer que c'est bien le traitement étudié, et non un facteur confondant, qui a produit l'effet observé. Les auteurs identifient neuf menaces spécifiques : l'histoire (événements concomitants), la maturation (évolution naturelle des sujets), la régression vers la moyenne, la sélection biaisée, la mortalité expérimentale, l'instrumentation variable, le testing (effet de la mesure répétée), l'ambiguïté de la direction causale, et les interactions entre menaces. Pour chaque menace, le texte détaille les dispositifs expérimentaux qui permettent de la neutraliser.
Lorsqu'un essai randomisé contrôlé est impossible (pour des raisons éthiques, pratiques ou financières), les chercheurs recourent à des designs quasi expérimentaux. Les auteurs analysent en détail les séries temporelles interrompues, les designs à groupes non équivalents, et les designs à discontinuité de régression. Chaque configuration est évaluée selon sa capacité à éliminer les menaces spécifiques à la validité interne. Le message central est nuancé : un quasi expérimental bien conçu vaut mieux qu'un expérimental mal exécuté, mais il ne peut jamais atteindre le même niveau de certitude causale.
Même lorsqu'un effet causal est solidement établi dans un contexte donné, rien ne garantit qu'il se reproduira dans d'autres populations, d'autres lieux ou d'autres époques. Les auteurs insistent sur cette distinction : prouver qu'un effet existe et prouver qu'il est généralisable sont deux entreprises distinctes. Ils proposent des stratégies pour accroître la validité externe (réplications multi sites, échantillons hétérogènes, variations systématiques des conditions) sans sacrifier la rigueur interne.
En sciences de gestion, où les essais randomisés sont rares, la grille de Shadish, Cook et Campbell sert de référence pour évaluer la solidité des preuves. Toute étude affirmant que l'IA améliore la productivité, que le télétravail augmente la satisfaction, ou que la formation réduit le turnover devrait être passée au crible de ce cadre. Sans cette discipline méthodologique, les décisions managériales risquent de reposer sur des artefacts statistiques plutôt que sur des effets réels.
Lorsqu'on vous présente une étude affirmant un lien de cause à effet, exigez systématiquement une discussion des menaces à la validité interne. Formez vos équipes à identifier les principaux biais méthodologiques pour que les décisions stratégiques reposent sur des preuves solides et non sur des corrélations séduisantes mais trompeuses.
Meehl (1954). Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence
Mohajeri et al. (2020). When Statistical Significance Is Not Enough: Investigating Relevance, Practical Significance, and Statistical Significance
Référence : Shadish, W. R., Cook, T. D. et Campbell, D. T. (2002). Experimental and quasi‑experimental designs for generalized causal inference. Houghton Mifflin.
Vos outils technologiques ont une politique. Vous ne le saviez pas encore ?
Fagonner son travail : les salaries qui transforment leur poste de l'interieur
Vous l’avez déjà entendu, ce fameux "C’est trop cher". Mais que cache réellement cette remarque ?
Se rendre inutile est l'une des qualités les plus subtiles d'un leadership réussi
Ce biais permet de maintenir l'engagement des utilisateurs
Vos outils technologiques ont une politique. Vous ne le saviez pas encore ?
L'entretien comprehensif : la methode qualitative qui donne la parole aux gens
Vivre ensemble mais seuls : le paradoxe de l'individualisme contemporain
L’expérience client repose sur une connexion émotionnelle, une constance irréprochable et un équilibre harmonieux entre humain et digital.
Les récompenses variables peuvent être comparées aux machines à sous.
Le leadership efficace est moins une question de pouvoir formel qu'une compétence relationnelle