Fausses preuves

La question de l’efficacité des méthodes pédagogiques donne lieu depuis plusieurs années, en France et au Québec, à des débats virulents entre les partisans des méthodes dites « centrées sur l’enseignement » et ceux des méthodes dites « centrées sur l’apprentissage ». En France, la loi d’orientation s’est beaucoup inspirée des premières, obligeant les partisans des secondes à s’y opposer, à l’occasion par exemple de la suppression des TPE (travaux personnels encadrés), de la mise en cause du redoublement ou des méthodes de lecture. Au Québec, la situation politique est en quelque sorte inverse : le gouvernement prépare une importante réforme qui s’appuie sur les pédagogies de projet centrées sur l’apprentissage et ce sont cette fois les partisans des méthodes centrées sur l’enseignement qui se trouvent en position d’opposants et cherchent à empêcher la mise en application de la réforme.

Un argument « scientifique » venu du Québec

Le débat est ancien mais il prend, dans ces circonstances, un tour particulièrement vif. La qualité de l’écoute et la modération des arguments sont au plus bas. Il y a quelques mois pourtant, un texte provenant d’une équipe de chercheurs canadiens emmenés par Clermont Gauthier (Université Laval) nous est parvenu et, m’a-t-il semblé à ce moment-là, introduisait dans le débat, un argument d’une nature nouvelle. L’état de la recherche, nous disent ces chercheurs, permet d’affirmer que le problème de l’efficacité des pédagogies est aujourd’hui résolu et que la supériorité des méthodes basées sur l’instruction directe ou explicite a été démontrée. Ce n’est évidemment pas le nombre de références bibliographiques citées à l’appui de cette thèse qui retient l’attention (autant de références et sans doute même beaucoup plus pourraient être convoquées pour soutenir une thèse inverse), mais une référence particulière, centrale dans la démonstration, celle relative au projet Follow Through, que je ne connaissais pas, mais dont j’appris à cette occasion qu’il fut « la plus vaste expérimentation à grande échelle jamais effectuée dans le domaine de l’éducation en Occident ».

Pour démontrer qu’une méthode pédagogique est supérieure à d’autres, le seul moyen en effet est de procéder à une expérience lourde consistant à appliquer des méthodes différentes à des publics suffisamment vastes pour permettre le traitement statistique, pendant plusieurs années, en constituant des groupes témoins, en mesurant précisément les effets de l’enseignement sur les élèves et en s’assurant que les enseignants appliquent fidèlement les méthodes sélectionnées. Avant de lire Clermont Gauthier, j’aurais été prêt à parier qu’une telle expérience n’avait jamais eu lieu et qu’elle ne pourrait jamais avoir lieu. Il doit être en effet extrêmement difficile de réunir un grand nombre de familles, d’écoles et d’enseignants qui acceptent, sur une longue période, de se prêter avec sérieux et docilité à une expérience dont l’issue est incertaine. Il faut pourtant se rendre à l’évidence nous dit-on : une telle expérience existe, elle s’est déroulée aux Etats-Unis à la fin des années 60 et elle aurait permis de démontrer de façon incontestable, c’est-à-dire par des mesures, la supériorité de la méthode d’instruction directe, sur les huit autres qui lui étaient opposées.

De deux choses l’une. Ou bien Follow Through est ce que nous en disent les chercheurs canadiens et il faut donner à leur contribution la place qu’elle mérite puisque, potentiellement, elle est de nature à mettre un terme à un débat qui déchire le monde de l’éducation depuis plusieurs décennies. Ou bien ce n’est pas le cas, la réalité de Follow Through n’est pas celle qu’ils nous présentent et s’il s’avère qu’ils ont cherché à nous tromper, nous devons leur retirer notre confiance et dénoncer leur manœuvre.

J’ai voulu en avoir le cœur net et, au moins, me faire une idée sur deux questions particulières. La première concerne les conditions de l’expérimentation et les modalités de participation des enseignants. La méthode qu’ils devaient appliquer leur était-elle imposée ou bien l’avaient-ils choisie librement ? Dans les deux cas, cela devait entraîner un biais important dans l’expérience. Comment en a-t-il été tenu compte ? La deuxième question porte sur la diffusion des résultats de Follow Through. S’ils sont bien ceux qui nous sont présentés, comment se fait-il qu’ils ne soient pas davantage connus ? Quelle conspiration du silence a pu empêcher la popularisation d’un acquis scientifique d’une telle importance ?

Histoire de Follow Through

Les sources disponibles sur le Web permettent de reconstituer quelques-uns des principaux traits de l’expérience américaine. Follow Through est un volet du plan de lutte contre la pauvreté mis en place par l’administration Johnson en 1967. Son objectif est de développer un programme éducatif d’envergure en faveur des enfants des classes défavorisées. Souhaitant rationaliser leur investissement, les responsables du programme ont l’idée d’organiser une compétition qui désignera la méthode pédagogique la plus efficace, laquelle sera ensuite généralisée à toutes les écoles. Enjeu scientifique mais enjeu économique également. Les universitaires sollicités proposent différentes méthodes qui se distribuent entre les méthodes plutôt centrées sur l’enseignement (3) et celles plutôt centrées sur l’apprentissage (6).

Le projet démarre en 1970 et se poursuivra pendant une dizaine d’années. Il porte sur les trois premiers niveaux de l’enseignement primaire. Pour recruter les sites expérimentaux, des réunions sont organisées dans les écoles candidates au cours desquelles les neuf méthodes en compétition sont présentées à l’assemblée des parents. Les enseignants et les responsables administratifs n’interviennent pas dans la sélection. Ce sont les parents qui choisissent la méthode qui sera appliquée par les enseignants pour l’apprentissage de la lecture, de l’écriture, du calcul et du raisonnement, à partir du matériel didactique mis à la disposition des écoles et des familles par les concepteurs des méthodes qui se chargent également de la formation des enseignants et des familles. Chaque école pilote doit être associée à une école témoin, comparable et située dans la même communauté. Chaque année, les résultats de 10 000 élèves sont récoltés et ceux des écoles pilotes sont confrontés à ceux des classes témoins où les enseignants ont continué de travailler sans rien changer à leurs habitudes. Deux agences indépendantes sont choisies par le gouvernement pour recueillir, traiter et analyser les données.

La publication des résultats de l’évaluation sonne comme un coup de tonnerre. Huit des neuf méthodes en compétition obtiennent des résultats égaux ou inférieurs à ceux des groupes témoins. Il faut comprendre : les élèves qui ont travaillé avec une méthode que leurs parents avaient imposée à leur enseignant obtiennent de moins bons résultats que ceux dont l’enseignant est resté libre de sa méthode. La surprise n’est pas là. Elle provient de la seule méthode qui, malgré ce handicap, obtient dans tous les domaines (habiletés de base, habiletés cognitives, habiletés affectives) de meilleures performances dans les classes qui l’ont appliquée que dans les classes témoins.

La méthode d’instruction directe a été conçue par un chercheur de l’université d’Oregon, Siegfried Engelmann. Zig comme l’appellent ses amis est un ancien publicitaire né en 1931, passionné d’éducation, qui testa ses idées pédagogiques sur ses deux jumeaux auxquels il réussit à enseigner des mathématiques très avancées dès l’age de 4 ans. Il réalisa des films illustrant sa méthode qu’il présenta à deux chercheurs en sciences de l’éducation et psychologie, Carl Bereiter et Wesley Becker. Tous trois travaillèrent ensemble à l’université d’Illinois puis à l’université d’Oregon qui accepta de financer leur participation au projet Follow Through. Dans le classement final, les deux méthodes qui se classent juste derrière l’instruction directe sont les deux méthodes centrées sur l’enseignement, consacrant ainsi la victoire de cette famille pédagogique.

Aussitôt après la publication des résultats, une polémique naît. Les universitaires qui ne reconnaissent pas Engelmann comme un des leurs contestent les résultats de l’évaluation, prenant le risque d’apparaître comme de mauvais perdants.

Alors que la controverse enfle, la Fondation Ford sollicite un expert indépendant, Ernest House, pour conduire une mission « d'évaluation de l' évaluation » qui devra analyser les conditions de l'expérience et donner son interprétation des données recueillies. Pour cette mission, House s’entoure de trois spécialistes reconnus : Gene V. Glass (université du Colorado), Leslie D. McLean (Institut des sciences de l’éducation de l’Ontario) et Decker F. Walker (université de Stanford). Leur rapport, publié en 1978, remet en cause la validité des résultats et de l’évaluation finale. Ils analysent les défaillances du protocole expérimental et repèrent des erreurs dans l’analyse statistique : ils remarquent par exemple que la dispersion des performances à l’intérieur des groupes est supérieure à la dispersion entre les groupes, ce qui invalide l’hypothèse du rôle prédominant de la méthode pédagogique sur d’autres facteurs contextuels. Ce rapport ne met pas fin à la controverse. Les partisans de l’instruction directe estiment avoir été privés injustement de la victoire qu’ils méritaient. Ils contestent et continuent de le faire encore aujourd’hui, les résultats du rapport House.

Finalement, le gouvernement décide de ne pas tenir compte du classement et de financer à parts égales la diffusion des neuf méthodes, laissant ainsi à chaque enseignant le soin de choisir la méthode qui lui convient le mieux.

Voilà l’histoire, telle qu’une rapide enquête permet de la reconstituer. Revenons maintenant à la présentation qui nous en est faite dans le texte des chercheurs canadiens.

Deux omissions et une contre-vérité

Trouver des erreurs et des omissions dans un texte de près de 50 pages ne disqualifie évidemment pas, ni le texte dans son ensemble, ni ses auteurs. Tout dépend de l’importance des omissions et des erreurs. Ici, Follow Through occupe une place centrale dans la démonstration : c’est la principale référence des recherches dites de niveau 3 permettant, selon les auteurs, de « formuler des recommandations offrant un niveau de rigueur répondant aux normes scientifiques ». Or, la partie du texte consacrée à Follow Through comporte aux moins deux omissions et une erreur graves qui en faussent, me semble-t-il, la compréhension.

La première omission concerne la paternité de la méthode d’instruction directe. A aucun moment, il ne nous est dit que Englemann, Becker et Bereiter sont les inventeurs et les promoteurs de la méthode d’instruction directe. Cette omission permet de citer les articles que ces acteurs très partiaux ont écrits sur Follow Through et sur l’instruction directe comme s’ils étaient ceux de scientifiques neutres. C’est une première tromperie.

La deuxième omission concerne le rapport House. La controverse qui a suivi la publication des résultats de Follow Through et qui a conduit le gouvernement à ne pas en tenir compte, pas plus que les conditions dans lesquelles le rapport a été commandé à House ne sont mentionnées. Rien de tout cela n’est rappelé. C’est une deuxième tromperie.

Ces deux tromperies se rejoignent dans un paragraphe que je reproduis ici intégralement.

« Après sa publication, le projet Follow Through, compte tenu des remises en question qu’il soulevait, a fait l’objet de recherches plus poussées (House et Glass, 1979 ; Bereiter, 1981 ; Becker et Carnine, 1981). Toutefois, ces nouvelles analyses qui ont fait appel à une démarche méthodologique encore plus sophistiquée que celle qui avait été utilisée initialement, sont venues re-confirmer l’efficacité supérieure de l’approche pédagogique Direct Instruction comparativement aux autres approches utilisées dans le cadre du projet Follow Through (Watkins, 1995-1996). »

Parmi les chercheurs mentionnés dans ce paragraphe, on retrouve les noms de Becker et Bereiter, co-inventeurs avec Egelmann de la méthode d’instruction directe, mais aussi celui de Carnine qui était un élève de Becker à l’université de l’Illinois et le suivit dans l’Oregon. Les citer comme des chercheurs ayant œuvré à la re-confirmation de l’efficacité d’une méthode, alors qu’ils en sont les auteurs, est pour le moins abusif. Cela devient une contre-vérité et même une manipulation lorsque leurs noms sont mêlés à ceux de House et Glass qui, eux, sont bien des chercheurs indépendants, mais qui ont dit le contraire de ce qui leur est attribué ici.

Je voulais en avoir le cœur net. C’est fait.

Serge Pouts-Lajus

Références

Le texte de Clermont Gauthier et al. est diffusé sur le site de la Fondation pour l’innovation politique : http://www.fondapol.org/projet-enseignement.jsp#

L’évaluation de House a donné lieu à un article publié en 1978 dans la Harvard Educational Review (vol. 28 N°2) intitulé : « No Simple Answer : Critique of the Follow Through Evaluation ».

La très grande majorité des documents disponibles sur le Web et relatifs à Follow Through provient des partisans de l’instruction directe (notamment de l’université de l’Oregon où Engelmann et Becker ont fait l’essentiel de leur carrière) et ne brillent pas par leur objectivité ni par leur mesure. Pour les autres acteurs, l’affaire est close depuis longtemps.

Fausses représentations : qui omet quoi ? Une réplique à Serge Pouts-Lajus

Dans le numéro 61 du Café pédagogique, Serge Pouts-Lajus signe un texte à l'intérieur duquel il critique la revue de littérature que nous avons réalisée à titre de co-chercheurs avec notre collègue de l'Université Laval (Québec), Clermont Gauthier, à partir d'une subvention décernée par le Fonds de recherche québécois sur la science et la culture. Avec notre autorisation, cette étude a été rediffusée en janvier 2005 par la Fondation pour l'innovation politique sous le titre Quelles sont les pédagogies efficaces ? Un état de la recherche. Cette revue de littérature, portant sur le thème des pédagogies efficaces, visait à établir l'état de la recherche sur l'efficacité des approches pédagogiques dites "centrées sur l'enseignement" lorsque comparées à celles appelées "centrées sur l'apprenant". N'appréciant vraisemblablement pas les résultats présentés par notre rapport de recherche, Serge Pouts-Lajus s'évertue à le discréditer à partir d'une analyse pseudoscientifique reposant sur un argumentaire dont le fond apparaît tout aussi fragile que la forme en est tendancieuse.

Sur la forme d'abord. Au début de son article, Serge Pouts-Lajus déplore que le débat opposant les tenants des méthodes pédagogiques "centrées sur l'apprenant" aux tenants de celles qui sont "centrées sur l'enseignement" ait donné lieu à des arguments dont " la qualité de l'écoute et de la modération sont au plus bas ". Or, dans sa grande magnanimité, non seulement qualifie-t-il, dans le titre de son texte, notre étude de "Fausses preuves", mais il nous accuse également d'avoir cherché à tromper les lecteurs à deux reprises en plus d'avoir menti (" deux tromperies et une contre-vérité "), et ce, tout en utilisant la manipulation ! Une telle enflure verbale, frisant la diffamation, constitue, nous semble-t-il, une bien curieuse manière d'élever la qualité du débat.

Voyons maintenant le fond. S'improvisant champion de la scientificité, Serge Pouts-Lajun tente de nous donner une leçon de méthodologie de la recherche. Il s'attaque à la présentation que nous faisons dans notre revue de littérature du Projet Follow Through, qui constitue la plus vaste expérimentation à grande échelle jamais effectuée en Occident comparant l'efficacité de différentes méthodes pédagogiques. Il allègue ainsi que nous avons volontairement omis de référer à la contre-expertise effectuée par House, à la suite de la publication du Projet Follow Trough, parce que son rapport venait en invalider les résultats. Il faut souligner ici que les résultats du Projet Follow Through démontrent la supériorité des approches centrées sur l'enseignement sur celles qui sont centrées sur l'apprenant lorsque appliquées avec des élèves de niveau primaire provenant de milieux défavorisés, ce qui a probablement eu l'heur de déplaire à monsieur Pouts-Lajun. Ce qu'il a toutefois oublié de mentionner (une omission ?), c'est que malgré le fait que la contre-expertise de House ait été financée par les promoteurs d'une des approches centrées sur l'apprenant qui avait été identifiée comme inefficace dans Follow Through, les chercheurs qui ont ré-analysé les résultats ont été obligés de concéder le premier rang au Direct Instruction, une approche centrée sur l'enseignement. N'en déplaise à monsieur Pouts-Lajun, leur étude est donc venue confirmer, par le fait même, la validité des résultats initiaux de Follow Through, ce que nous précisons dans notre texte.

Or, non seulement Serge Pouts-Lajun prétend-il dans son article que les chercheurs dirigés par House constituait une équipe de recherche neutre et indépendante, mais il allègue, de plus, que cette étude vient invalider les résultats de Follow Through, ce sur quoi il s'appuie pour nous accuser de manipulation. Aurions-nous là une contre-vérité ? Ou serait-ce plutôt parce que monsieur Pouts-Lajun aurait négligé d'aller consulter directement la page 150 du rapport de House, Glass, MacLean et Walker, publié en 1978 dans Harvard Educational Review, parce qu'il s'en serait tenu aux " sources disponibles sur le Web " ? Venant d'un maître de la rigueur, on se serait attendu à mieux.

D'ailleurs, toujours selon ses recherches sur Internet, monsieur Pouts-Lajun affirme, à la fin de son article, que la publication du rapport House en 1978 aurait signé l'arrêt de mort du Projet Follow Through en tant que référence scientifique, sauf pour les tenants de l'enseignement direct qui " ne brillent pas par leur objectivité ni par leur mesure ". Il ajoute : " Pour les autres acteurs, l'affaire est close depuis longtemps." Comment expliquer alors que vingt ans plus tard, en 1998, l'American Federation of Teachers (AFT), dans un rapport intitulé Building from the Best : Learning from What Works, fasse référence aux résultats du Projet Follow Through pour recommander le Direct Instruction comme étant l'un des six programmes les plus prometteurs pour améliorer le rendement scolaire des élèves (p. 17). Quoique l'AFT compte plus d'un million d'enseignants répartis sur l'ensemble du territoire américain, probablement monsieur Pouts-Lajun rétorquerait-il qu'il s'agit encore là d'acteurs partiaux et, somme toute, plutôt négligeables.

Or, la position adoptée par Serge Pouts-Lajun face aux résultats du Projet Follow Through représente une réaction typique d'incompréhension de la méthodologie de la recherche. Tel que trois des plus grands chercheurs en sciences de la cognition du XXe siècle, John Anderson, Lyne Reder et Herbert Simon (1998) de l'Université Carnegie Mellon le précisent à propos du Projet Follow Through : " Une part importante des résistances que les constructivistes radicaux, ainsi que de nombreux intervenants du milieu de l'éducation en général, éprouvent face au domaine de la mesure et évaluation provient du fait qu'aucun instrument de mesure n'est parfait. Or, cette tendance à focaliser sur les limites des instruments de mesure en amènent plusieurs à rejeter les données provenant des recherches empiriques. Le jugement négatif qu'on a porté sur le Projet Follow Through, qui a démontré que les méthodes d'enseignement direct étaient plus efficaces que les pédagogies ouvertes avec des élèves du niveau primaire issus de milieux défavorisés, en constitue un exemple classique. Cette étude a été immédiatement accablée de critiques de toutes sortes, ce qui a eu pour effet de détourner complètement l'attention des informations importantes qu'elle contenait. Les scientifiques savent qu'ils doivent tenir compte des limites inhérentes à leurs instruments de mesure, mais qu'ils ne doivent pas pour autant ignorer ce que leur instruments révèlent " (p.253) (1).

De plus, faut-il rappeler à Serge Pouts-Lajun qu'un des principes fondamentaux en méthodologie de recherche est la convergence des conclusions des études qui permet de donner une robustesse aux résultats. Cependant, la lecture de son article laisse croire que notre revue de littérature se limite à la présentation d'une seule étude, le Projet Follow Through (omission ou contre-vérité ?). Comme si c'était l'unique recherche que nous avons utilisée pour recommander l'utilisation des approches centrées sur l'enseignement, et particulièrement l'enseignement direct et explicite, en tant qu'interventions pédagogiques les plus efficaces auprès des élèves provenant de milieux défavorisés. S'il avait fait preuve de moins d'étroitesse d'esprit en lisant notre rapport de recherche plutôt que de tenter de nous faire un procès d'intention, monsieur Pouts-Lajun aurait pu constater que les résultats du projet Follow Through sont confirmés, entre autres, par :

1. La synthèse de recherche effectuée par Jeanne Chall ;
2. L'étude pan-canadienne sur l'enseignement des mathématiques au secondaire ;
3. Les méta-analyses sur l'apprentissage de l'écriture et des mathématiques au primaire ;
4. La méta-analyse du National Reading Panel sur l'apprentissage de la lecture qui a étudié plus de 100 000 recherches expérimentales publiées au cours des 30 dernières années ;
5. La méta-analyse de Swanson et Hoskyn qui a étudié 180 recherches publiées entre 1963 et 1997 sur les interventions pédagogiques efficaces auprès des élèves en difficulté ;
6. La méta-analyse de Borman sur l'efficacité des modèles pédagogiques implantés dans les écoles américaines qui a étudié 232 recherches impliquant 145 000 élèves ;
7. L'étude longitudinale de Hanson et Farrell sur l'apprentissage de la lecture auprès de 4000 élèves à risque ;
8. Les synthèses de recherches de Brophy et Good ainsi que celles de Rosenshine et Stevens; 9. Les études sur la réforme de l'éducation entreprise au Wisconsin.

Inversement, les échecs retentissants qu'ont connu les réformes de la Californie au primaire en lecture et au secondaire en mathématiques dans les années 90, en implantant massivement des approches centrées sur l'apprenant, attestent de l'inefficacité de telles méthodes pédagogiques.

Dans une de ses envolées lyriques, Serge Pouts-Lajun clame qu'il nous retire sa confiance. Compte tenu de ce qu'elle vaut, nous le laissons libre d'en faire ce qu'il veut. Pour notre part, nous préférons plutôt avoir la confiance de chercheurs reconnus dans la communauté scientifique, comme les membres du comité de rédaction de la Revue française de pédagogie, qui ont jugé que notre revue de littérature avait suffisamment de valeur pour la publier dans leur prochain numéro sous la forme d'une note de synthèse.

Nous voulions laisser savoir à Serge Pouts-Lajun qu'on ne peut tenter de salir impunément la réputation professionnelle de chercheurs rigoureux à partir d'un tissu de propos fallacieux s'appuyant sur une démarche méthodologique qui relève d'un scientifique du dimanche.

C'est fait.

Mario Richard et Steve Bissonnette

• Co-auteurs de Quelles sont les pédagogies efficaces ? Un état de la recherche
• http://www.fondapol.org/projet-enseignement.jsp#
• Chaire de recherche du Canada en Formation à l'enseignement
• Université Laval, Québec

Je maintiens que c'est faux

Contrairement aux auteurs du texte dont j'ai fait la critique, je n'ai prétendu à aucune scientificité dans mon argumentation. Un peu de sérieux et d'attention m'auront suffi.

Si je mets de côté les insinuations insultantes, il ne reste qu'un point à éclaircir : celui concernant le rapport de House et al. Revenons-y donc.

1. En 1978, à la demande de la Fondation Ford, House et al. reprennent les résultats de l'évaluation de Follow Through établis par l'entreprise Abt Associates qui avait conclu dans un premier temps à la plus grande efficacité de l'instruction directe sur les autres méthodes pédagogiques en lice. House constate que l'instruction directe obtient les meilleurs résultats aux tests MAIS (cette réserve étant évidemment capitale) il considère que les conditions de l'expérience ne permettent pas de conclure à la plus grande efficacité de cette méthode pédagogique, essentiellement pour des raisons liées à la dispersion des résultats. Mes contradicteurs prétendent que le rapport House " confirme l'efficacité supérieure de l'instruction directe ". Je maintiens que c'est faux. L'article de House et al. est publié dans la revue Harvard Educational Review sous le titre No simple answer : Critique of the Follow Through evaluation.

2. Dans le même numéro de cette revue, Abt Associates, en réponse aux critiques de House, rédigent un article au titre ironique (Pardon us, but what was the question again ? A response to the question of the Follow Through evaluation) dans lequel ils reprennent ces critiques pour les contester à leur tour et confirmer leur interprétation d'une plus grande efficacité de l'instruction directe.

3. Trois ans plus tard, Carl Bereiter, très engagé à cette époque du côté de l'instruction directe, reprend les analyses de House et celles de Abt qu'il critique l'une et l'autre puis, après une analyse statistique fouillée, conclut en trouvant non plus un mais deux vainqueurs ainsi que deux perdants. L'article de Bereiter est consultable en ligne. Nos lecteurs pourront ainsi se faire une idée par eux-mêmes, ce qui, me semble-t-il, est toujours préférable à l'accumulation de citations, tronquées par nature.
http://darkwing.uoregon.edu/~adiep/ft/bereiter.htm

Il y a bien eu une controverse autour des résultats de Follow Through. Je m'y suis intéressé mais sans prendre parti. Mes contradicteurs ont pris parti mais en masquant la controverse. C'est ce que je leur reproche.

Serge Pouts-Lajus