jeudi 20 septembre 2012

L’approche comptable en éducation au Québec (3e partie)


Dans les deux premiers billets sur l’approche comptable en éducation (voir ici et ici), on a pu constater que cette vision de l’éducation prend forme au Québec en 2000 et qu’elle a des impacts importants sur les conditions d’exercice et sur les processus de décision dans les établissements scolaires. Dans ce dernier billet, je souhaite questionner l’efficacité de la gestion comptable de l’éducation.

Même le gourou de la gestion axée sur les résultats émet des doutes

J’en ai parlé dans le premier billet, le gourou des commissions scolaires sur la gestion axée sur les résultats (GAR) est Pierre Collerette. Même s’il est favorable aux conventions de gestion dans les établissements scolaires, il demeure toutefois critique. Selon lui, la convention de gestion et de réussite éducative (CGRÉ) est un mécanisme plutôt technocratique qui introduit une pression sur les gestionnaires scolaires (et ajoutons sur le personnel enseignant) et ne recèle pas d’outils pour améliorer les résultats des élèves.

Plus encore, il considère que la gestion axée sur les résultats n’est pas une panacée et qu’elle ne peut se substituer à une diversité d’approches pédagogiques favorables à la réussite éducative. Voilà qui devrait refroidir l’ardeur de certains gestionnaires scolaires qui considèrent la gestion axée sur les résultats et les conventions de gestion comme le nec plus ultra pour favoriser la réussite des élèves[1].

Un mécanisme de contrôle qui bouffe de l’énergie inutilement

De plus, les conventions de partenariat et les conventions de gestion et de réussite éducative ne sont pas sans effets potentiellement négatifs sur la gouverne d’ensemble du système d’éducation. Déjà en 2008, un des spécialistes de la gouvernance scolaire au Québec, André Brassard, indiquait que les nouvelles dispositions de la Loi sur l’instruction publique pourraient résulter en une activité accrue du travail de gestion commandant plus d’investissement en temps et en énergie pour le Ministère, les commissions scolaires et les établissements. Et il avait raison. 

La mise en place des conventions a exigé des commissions scolaires et des établissements un travail important pour en élaborer le contenu, pour bâtir les indicateurs qui permettraient d’évaluer la performance des établissements et pour effectuer la reddition de comptes qui accompagne ces conventions. Ainsi, les directions adjointes à la réussite éducative se sont multipliées dans les commissions scolaires afin de répondre à cette commande gouvernementale.

Dans une intervention récente au Rendez-vous CSQ de l’éducation, en février 2012, Brassard a abordé la question de la gouvernance sous l’angle du contrôle, c’est-à-dire l’ensemble du dispositif visant à déterminer le fonctionnement d’un système et à assurer que celui-ci fonctionne conformément aux attentes. Dans le cadre de la gouvernance en éducation, cela prend la forme d’une recherche toujours plus poussée d’efficacité qui passerait par une amélioration continue.
Pour ce faire, les systèmes d’éducation se tournent de plus en plus vers les tests internationaux, la mise en place de programmes d’enseignement obligatoires où sont déterminés les apprentissages minimaux qui doivent être faits par les élèves, une augmentation substantielle des examens ministériels, une reddition de comptes augmentée et une participation accrue des usagers (les parents, en l’occurrence).

Selon Brassard toujours, s’il n’en tenait qu’aux chantres de la nouvelle gestion publique, ce contrôle pourrait être poussé plus loin en mettant en place une évaluation du personnel enseignant sur la base de la performance des élèves, des étudiantes ou des étudiants ou encore en rendant davantage accessibles les résultats comparés des établissements. Plusieurs personnes seraient, semble-t-il, convaincues aujourd’hui du bien‑fondé de ce type de contrôle sur les établissements et le personnel.

Ce que dit la recherche sur l’efficacité de l’approche comptable en éducation

La recherche confirme de plus en plus que la culture du résultat, l’approche comptable en éducation, avec sa propension à toujours plus de performance, ne donne pas les résultats escomptés. Par exemple, une méta-analyse documentaire effectuée au Royaume-Uni indique qu’une approche centrée sur l’apprentissage peut améliorer les résultats des élèves, tandis qu’une approche centrée uniquement sur la performance peut les faire baisser.

Les enfants qui développent une vision axée sur la performance plutôt que sur l’apprentissage ont tendance à avoir plus besoin d’aide. De plus, ils adoptent une pensée moins stratégique et ils accordent plus d’importance aux rétroactions faites lors des évaluations. Enfin, ils sont plus susceptibles de conserver des stratégies qui se révèlent inefficaces. L’attitude et le comportement des enfants s’améliorent – ainsi que leurs résultats – lorsque les enseignantes et les enseignants et les écoles considèrent qu’il est plus important de les aider à apprendre que de les pousser à obtenir de meilleurs résultats à un examen donné.

Le chercheur, Watkins, souligne deux défis à relever par les écoles si elles veulent faire réussir plus d’élèves: 1) reconnaître que la réussite aux examens ne constitue pas le but de l’éducation, elle est plutôt la conséquence d’un apprentissage efficace; 2) reconnaître que la pression et l’adoption d’une approche centrée sur la performance ne parviennent pas à améliorer le rendement des élèves.

Autre exemple, en Suède, les résultats d’une enquête vont dans le même sens. Dans un article récent, les auteurs ont cherché à mesurer l'incidence de l’adoption de la gestion axée sur les résultats (dans l’enquête ils parlent de gestion par objectifs, mais il faut voir que c’est la même chose dont il est question) dans les écoles secondaires suédoises sur les performances des élèves. Leur étude longitudinale indique une absence de corrélation, voire un effet négatif, entre cette pratique et l’amélioration des résultats scolaires.

Et au Québec, « qu’ossé ça donne » l’approche comptable en éducation

Ils sont nombreux au Québec à s’inquiéter de l’approche comptable en éducation. Claude Lessard, sociologue de l’éducation et maintenant président du Conseil supérieur de l’éducation affirme dans un texte en 2010 qu’il faudra «beaucoup de prudence dans l’application de la GAR, afin d’éviter les excès et dégâts observés ailleurs».

Plus récemment, une équipe de chercheurs (André Brassard, Jacques Lusignan et Guy Pelletier) a enquêté afin de prendre le pouls de la mise en place des conventions de gestion dans les écoles du Québec. Leurs conclusions[2] sont intéressantes à plusieurs égards:

—  la gestion axée sur les résultats et un processus lourd à gérer qui restreint la marge de manœuvre du personnel;

—  la gestion axée sur les résultats entraîne rapidement une dérive vers le «facilement mesurable»;

—  presque toutes les commissions scolaires ont affecté des ressources supplémentaires à la mise en place et au suivi des conventions (direction adjointe de commission scolaire, libération de direction d’établissement, conseillère ou conseiller pédagogique);

—  la GAR a orienté la mise en place des conventions sur les résultats mesurables, donc n’a pas favorisé la mobilisation du personnel;

—  pour les directions plus expérimentées, il y a un certain détachement 

vis-à-vis l’obligation de résultats. Par exemple, «on pourra toujours trouver de bonnes raisons si l’on n’atteint pas nos cibles»;


—  on dénonce des pressions exercées sur des enseignantes et des enseignants pour qu’ils soient «moins sévères dans leurs corrections» afin d’améliorer les indicateurs de réussite;

—  les chercheurs ne sont pas assurés que la GAR mise en place «contribuera de façon sensible à l’amélioration de la réussite et de la persévérance scolaires».

Dans son intervention au Rendez-vous CSQ de l’éducation en février dernier, André Brassard est allé plus loin en indiquant que cette gestion axée sur les résultats donne peu de résultats, elle peut même mener à des régressions. Les progrès constatés dans certains pays avec cette approche tendent rapidement à s’atténuer, voire à disparaître, et les effets pervers sont nombreux (ex.: préparer les élèves en fonction des tests standardisés). Si les résultats des élèves gagnent peu dans cette approche, cette dernière donne lieu, cependant, au développement d’une industrie de l’évaluation et d’une bureaucratie du traitement et de l’analyse des données.

Brassard indique que d’autres approches sont toutefois possibles comme celle du développement professionnel et organisationnel. C’est une approche locale, fondée sur la responsabilisation professionnelle, individuelle et collective et elle comporte deux volets: 1) une autoévaluation qui se fait dans une démarche réflexive et qui conduit à des modifications des pratiques individuelles et collectives (on parle idéalement de communauté de pratique); 2) une identification de la situation particulière de chaque élève en vue de prévenir les problèmes et d’adapter la prestation des services éducatifs.

Pour conclure ces trois billets

Si certains pensent qu’en ayant écarté la Coalition Avenir Québec ou le Parti libéral du pouvoir, on a réussi à stopper la culture du résultat qui affecte l’éducation, je dois avouer que je ne le pense pas. Le Parti québécois (PQ) est aussi un fervent défenseur de cette vision comptable.

Par exemple, dans un document produit par le Secrétariat intersyndical des services publics (SISP), le PQ indique en réponse à une question concernant ses intentions relatives aux services publiques, qu’il «introduira une véritable culture des résultats dans les réseaux publics, parexemple en conditionnant l’octroi et le niveau des budgets et des primes au rendement par les résultats obtenus en matière de satisfaction de la clientèle etd’augmentation de la productivité de chacun des ministères, organismes etsociétés d’État». Avec cette orientation, je ne suis vraiment pas rassuré pour l’avenir.


[1] Jean Bernatchez (@jbernatchez), professeur en sciences de l’éducation à l’Université du Québec à Rimouski, m’indiquait hier «le fait que l'éminence grise du NMP [Nouveau management public], Hood, inspiré par ses recherches empiriques, est devenu très critique du modèle qu'il a lui-même contribué à définir en le comparant à la planification soviétique par objectifs.».  M. Bernatchez a produit un texte pour le numéro de novembre de la revue Le Monde de l'Éducation intitulé «La gestion axée sur les résultats: mode passagère ou nouveau paradigme de gestion scolaire?». À lire.

[2] Ces conclusions sont tirées d’un texte que les auteurs m’ont fourni, intitulé La gestion axée sur les résultats dans le système éducatif du Québec. Du discours à la pratique. Je ne peux mettre de lien sur ce texte, car il est soumis pour publication et les auteurs m’ont demandé de ne pas le diffuser. Les conclusions de cette enquête ont aussi été présentées le 26 avril dernier lors de l’assemblée plénière annuelle du Conseil supérieur de l’éducation.

4 commentaires:

  1. Encore une fois, tu n'as pas expliqué ce qu'est la vraie gestion par les résultats. Les études que tu cites sont aussi sélectives. Il y a aussi plusieurs études qui montrent que NCLB et d'autres mesures d'"Accountability" aux États-Unis à contribuer à rétrécir l'achievement gap, donc à aider les plus défavorisés.

    Mais honnêtement, je ne suis pas un grand admirateur de l'"accountability". Mais je suis un grand admirateur de tenter d'utiliser des données solides pour faire des décisions en éducation. Et la vraie bonne gestion par les résultats a été bien implantée dans très peu d'endroits.

    À Chicago, qui est à l'avant-garde de cette tendance, nous faisions beaucoup d'erreurs et faisions un peu n'importe quoi, parce qu'il n'y avait pas de modèle à suivre.

    Mais dans le peu d'endroits où les données ont réellement été utilisées pour aider les enseignants et les autres décideurs et non pour pointer les moins performants du doigt, les résultats ont été spectaculaires.

    "Without data, you are just another person with an opinion" (et ici j'inclu les données qualitatives, mais il faut qu'elles soient bien organisées, en tant qu'académique, tu dois bien comprendre ça.)

    RépondreSupprimer
    Réponses
    1. Monsieur Gagné,

      Merci pour vos commentaires. Vous semblez avoir une bonne idée de ce qu'est la "vraie" gestion par les résultats. Il serait intéressant que vous nous en fassiez part. Je connais aussi bien des études qui parlent de la gestion axée sur les résultats, mais elles sont souvent méthodologiquement déficientes ou encore présentées à des fins technocratiques, bureaucratiques ou gestionnaires. Ce n'est pas un défaut, mais disons que ça ne m'aide pas à me faire une "vraie" tête sur la question. Si vous croyez détenir des études avec une certaine solidité scientifique, je vous invite à nous les transmettre.

      Supprimer
  2. Bonjour Jacques,

    Voici 4 études des effets de l'"accountability", qui à première vue semble très rigoureuse et qui trouve des effets positifs (mais mitigé). Tous utilisent le NAEP, qui est un test national sur lequel n’est basée aucune mesure d'"accountability", donc sur lequel il y a peu de chances de triches.

    http://www.ukcpr.org/SeminarSeries/brianjacob.pdf
    http://cepa.stanford.edu/sites/default/files/Does%20External%20Aaccountability%20affect%20student%20outcomes.pdf
    http://hanushek.stanford.edu/sites/default/files/publications/hanushek%2Braymond.2005%20jpam%2024-2.pdf

    Pour ce qui est d'une définition de mon idéal de la vraie gestion par les résultats. J'ai tenté de l'illustrer brièvement dans mon premier commentaire. Il s'agit de construire des outils (surtout des évaluations formatives, et sommatives) qui permettront aux enseignants, directeurs d'école, DG de commission scolaires, parents, etc. etc. etc., de prendre des bonnes décisions pédagogiques.

    Pour un enseignant (et autres intervenants travaillant avec des élèves à l'individuelle), nous parlons donc essentiellement de devoir ou de test de mi-session extrêmement bien fait qui aidera l'enseignant à mieux évaluer ce que l'étudiant à absorber ou pas pour mieux décider de quoi et comment enseigner en prochain. Si ces outils sont bien faits, ils sont largement supérieurs (et sauve du temps), comparés à des outils écrits par un enseignant. Ces outils peuvent aussi aider l'enseignant à mieux diviser sa classe pour mieux diversifier son enseignement selon le niveau de ses élèves.

    Pour un directeur d'école, nous parlons d'évaluation sommative qui peut être utilisée pour déterminer la croissance des élèves du début à la fin de l'année. Donc, idéalement, une évaluation en début d'année pour évaluer le niveau de départ et une évaluation de fin d'année pour évaluer la croissance. La croissance des élèves peut ainsi être comparée à d'autres élèves de même année, niveau socioéconomique, gendre, etc., pour aider à trouver les forces (à étudier et répliquer) et les faiblesses (à étudier et remédier) de la pédagogie de son école.

    Au niveau des DG de commissions scolaires, etc., le raisonnement et les outils sont essentiellement les mêmes que pour les directeurs d'école, mais à plus grande échelle. Donc, des comparaisons de croissance solides qui permettent de trouver les forces et les lacunes.

    Il y évidemment plusieurs conditions difficiles à atteindre pour que ce système fonctionne bien:
    - Les évaluations, qu'elles soient formatives ou sommatives, doivent être extrêmement fortes.
    - Les évaluations sommatives ne doivent pas être utilisées de façon dominante pour faire des décisions de rémunération ou de rétention des enseignants. Ils doivent être premièrement des outils de gestion pédagogique, part de gestion des ressources humaines.
    - Les modèles utilisés pour comparer la croissance entre classe et école doivent être solides et inclure plusieurs variables (socioéconomiques, etc.)
    - Les possibilités ainsi que limites de tous ses outils doivent être bien compris par tous les décideurs pédagogiques.
    - Il faut empêcher la triche sur les évaluations sommatives. Ceci peut être simple avec les évaluations adaptatives modernes.

    Je sais que toutes ces conditions sont très difficiles à remplir, car j'ai vécu la difficulté de les remplir dans mon travail à Chicago. Mais je crois fermement que ce n’est pas parce que c'est difficile qu'on ne devrait pas le faire, parce que ça en vaut la peine.

    RépondreSupprimer
  3. L'auteur d'un autre court papier explique par contre bien le niveau présent de connaissance sur la vraie gestion des résultats (il parle de value added models mais je crois que ça s'applique à l'approche complète).

    "Many of the developing
    and potential uses of value-added have not
    been studied at all, and there are few plans
    to rectify this. We need rigorous evaluation,
    not only of the statistical properties, but also
    of the use of the measures in schools. Until
    researchers who have demonstrated the theoretical
    promise of value-added measures also
    demonstrate its effectiveness in practice, the
    vacuum of empirical evidence will continue
    to be fi lled by ideology and speculation."

    http://xa.yimg.com/kq/groups/34279186/1293888560/name/VAM+Sci+081211+826.pdf

    Voilà, c'est court pour parler de quelque chose d'aussi complexe, si tu veux plus de détails, contacte moi par courriel.

    gagne.alexis@gmail.com

    RépondreSupprimer