 |
Introduction
|
Finalités de l’évaluation
|
 Téléchargement
Ce livret a été réalisé par Frédéric
Teillard, chargé de mission et François Muller,
coordonnateur de la mission « innovation et
expérimentation », Rectorat de Paris – mars 2007 |
Rappel sur le contexte et le déroulement
du programme
En
évaluation, plus de questions que de réponses
Le
repas est-il évaluable ? |
Resituer
l’évaluation de l’expérimentation dans les pratiques
sociales
« Evaluer, c’est
d’abord communiquer » (Weiss)
Quatre finalités
possibles pour l’évaluation |
|
Objets de l’évaluation
|
Modalités de l’évaluation
|
Effets d'évaluation |
Les
objets ressortent à des domaines différents, mais
complémentaires :
Les
objets d’évaluation relèvent de niveau différent
Les
objets d’évaluation renseignent plus sur l’évaluateur et
son intention que sur l’action elle-même.
|
Variété
requise des modalités, techniques et outils de
l’évaluation
Croiser les
regards
Quelques
principes actifs dans l’élaboration d’un protocole
d’évaluation de l’expérimentation
organisation
prévisionnelle de la trace écrite pour une «
expérimentation pédagogique »
|
Et si l’évaluation « institutionnelle » n’existait pas ?
Résultats
attendus, escomptés, évalués… ou non ?
Des effets
attendus, produits de l’évaluation
Dérives
toujours possibles de dispositifs d’évaluation
Effets évaluatifs
concernant les acteurs |
|
Acteurs de l’évaluation
|
 |
Annexes et fiches complémentaires
|
Dynamique
et enrôlement dans l’évaluation
Valorisation du
travail et réassurance des personnels
Pour une «
négociation convenable » autour de l’évaluation
L’évaluation,
cela sert d’abord les acteurs « premiers »
L’évaluation,
c’est aussi utile pour le système |
Définitions de base
des concepts autour de l'évaluation
Quelques
éléments bibliographiques pour aller plus loin
Apports
théoriques et ressources en évaluation
Aide-mémoire
des questions vives pour un dispositif d’évaluation
Un nœud de
l’évaluation : la détermination des impacts
Et
après ? le Sudoku de la journée « expérimentale »
|
L’équipe de la Mission académique aux innovations et
expérimentations pédagogiques (MAIE) est heureuse de vous
communiquer le document ci-joint. Il découle des travaux
qui se sont déroulés le 14 février 2007 au lycée Guillaume
Tirel à Paris, à l’occasion d’un séminaire académique
organisé par la MAIE, portant sur le thème de l’évaluation.
Ce séminaire était plus particulièrement destiné aux
équipes académiques conduisant des expérimentations et
innovations, ainsi qu’à des personnels de direction et
d’inspection.
Cette journée est consécutive à la mise en œuvre de
l’article 34 de la loi d’orientation pour l’avenir de
l’école du 23 avril 2005, qui offre l’opportunité
qu’au sein de chaque école ou établissement, des équipes
puissent s’engager dans un processus expérimental.
Le
moins que l’on puisse dire est que les équipes de terrain
ont été nombreuses à se saisir de cette opportunité : à la
rentrée 2006, il a ainsi été possible de contractualiser
48 dossiers relevant de l’application de l’article 34, et
d’en retenir 53 autres au titre des innovations
pédagogiques. Une deuxième vague de contractualisation
aura lieu au titre de la rentrée 2007.
Rappelons qu’au cœur du processus expérimental ainsi
offert, figure l’évaluation : « ces expérimentations font
l’objet d’une évaluation annuelle ». Il était donc
logique, et nécessaire, que la MAIE prenne l’initiative de
réunir sur ce thème les divers acteurs de
l’expérimentation, afin d’échanger et construire en commun
les outils de cette évaluation.
Ce
document vous présente la synthèse des travaux de cette
journée.
N’hésitez pas à le commenter sur le site
Innovations/expérimentations :
Votre commentaire ?
Nos
remerciements à tous ceux, personnels de direction,
d’inspection, d’enseignement et d’éducation, qui
participent, et participeront plus nombreux encore dans
l’avenir, à des actions expérimentales et innovantes qui
ont pour but premier d’améliorer la performance de nos
élèves.
Bruno MAGLIULO, IA-IPR, Responsable de
la MAIE
Ce document rend compte du séminaire
« Evaluer » organisé par
la MAIE de l’académie de Paris, à l’intention des équipes en
expérimentation et en innovation, tenu le 14 février 2007 au
lycée hôtelier Guillaume Tirel. Ce fut la deuxième journée
du cycle consacré cette année à l’expérimentation[1]
Il se propose de faire la synthèse des
travaux et des échanges qui se sont déroulés sous l’œil
attentif et bienveillant de Mokhtar Kaddouri, maître de
conférence au CNAM, mais aussi de fournir aux équipes qui
souhaiteraient s’engager plus avant dans les voies ouvertes
au cours de cette brève journée, des travaux, des outils,
des réflexions, des références.
La journée était organisée de la manière
suivante :
Matin :
Quatre nouveaux cas ont été
proposés à l’étude des participants ; l’angle d’analyse a
consisté à observer les dispositifs d’évaluation de
l’action, selon cinq niveaux :
a
objets de l’évaluation
b-
modalités de l’évaluation
c-
acteurs de l’évaluation
d
-finalités de l’évaluation
e-
effets d’évaluation
|
1 |
autour du DSA (dispositif de
socialisation et d’apprentissages)
Collège Edouard MICHELET
Dans un gros collège en REP, toute une
équipe a construit depuis quelques années un
« dispositif » souple et évolutif destiné à prendre en
charge pour quelques semaines des élèves repérés pour
des difficultés ; un programme personnalisé et des temps
spécifiques sont mises en œuvre, avant que les élèves
retournent dans leur classe. Ce DSA est une initiative
académique que l’on retrouve dans 21 autres collèges.
|
|
2 |
autour du dispositif « itinéraires
scientifiques »
Ecole active bilingue Jeannine Manuel
(niveau collège)
Direction et enseignants se sont engagés
depuis plusieurs mois dans une réflexion et, depuis
cette année, dans une action de refonte complète des
curricula scientifiques au collège. Appuyée de
l’expertise et des conseils proches des chercheurs de l’ESCPI,
l’équipe organise une semaine “scientifique” toutes les
trois semaines, consacrée à un module. Sont développées
des compétences de haut niveau, mais tout d’abord
curiosité et esprit critique sur des sujets ambitieux.
La progression est spiralaire. L’expérimentation se
déroulera sur quatre ans.
|
|
3 |
autour du dispositif « études dirigées »
LG Jacques Decour
Depuis 2004, toute une équipe conduite
par la direction a mis en place un dispositif sur trois
actions: études encadrées régulières pour élèves
volontaires, devoirs mensuels sur table en fonction des
options du bac, fiches d’auto-évaluation. La conduite du
dispositif et sa régulation par évaluation interne a
permis d’ores et déjà de noter des résultats sur les
travaux et les comportements des élèves.
|
|
4 |
autour du défi technologique en école
primaire
Ecoles de la circonscription
20C
A l’échelle de toute une circonscription
de l’est parisien, tout un réseau d’enseignants
accompagné par l’équipe de circ. et un formateur de
l’IUFM, a développé une série de “défis technologiques”
adaptés à chaque cycle d’enseignement: d’approche
ludique, mais posant de réelles
situations-problématiques, les défis ont permis
d’apprendre, d’expérimenter, de communiquer, de réussir,
à la fois pour tous les élèves.... et pour les
enseignants. |
Midi : déjeuner (voir ci-dessous : le repas est-il
évaluable ?)
Après-midi : Compte-rendu des travaux du matin,
prolongements, évaluation de la journée
Ouverture de la séance
Mokthar Kaddouri, Maitre de conférence, CNAM de Paris
Le thème de l’évaluation en éducation et en formation est
ancien, récurrent, donc très actuel. Difficile de faire du
« nouveau » dans ce domaine, si ce n’est partager un
questionnement précautionneux et tout méthodologique. Car,
même si l’évaluation se pare d’atours scientifiques et
parfois technocratiques, elle reste malgré tout une pratique
sociale, profondément marquée et traversée par les enjeux
propres aux acteurs ancrés dans des pouvoirs et animés par
des valeurs. Attribuer de la valeur scientifique à une
évaluation serait facile et rassurant, mais trompeur.
Il a bel et bien existé un courant d’une pédagogie
expérimentale, où l’évaluation s’est voulue scientifique,
celle de Binet
notamment. Il s’est agi alors de repérer, de critérier, de
classer, de sélectionner…. On s’inscrit dans des registres
tels que la norme, le référent, le référé, l’écart à la
norme etc…
Il semblerait aujourd’hui que le courant dans lequel
s’inscrit l’expérimentation ne ressorte pas à cette
tendance, mais plutôt à une pensée où l’observation et la
subjectivité jouent dans, sur et avec des situations toutes
spécifiques. Les registres sont différents : autonomie,
essai, erreur. …
Y aurait-il antinomie entre expérimentation et évaluation ?
Pour résoudre ce dilemme,
distinguons d’abord « rendre compte » de « rendre des
comptes », et retenons quelques précautions de base pour
étayer peu à peu des pratiques d’évaluation de
l’expérimentation pédagogique.
¾
Faut-il évaluer ? Faut-il tout évaluer ? Trop d'évaluation
tue l'expérimentation.
¾
Quand évaluer ? Il ne faut pas évaluer dans l'immédiat.
Différer et reporter l’observation pour mieux comprendre
l’espace. Le temps des dispositifs n’est pas identique à celui
des acteurs. Des conflits sont possibles, les points de vue
diffèrent.
¾
Qu'en est-il des acteurs? Est-il intéressant d’enclencher un
travail participatif dès le début pour impliquer les acteurs
ensuite dans l'évaluation de l’action ? Avoir un projet, c'est
être en projet. Cette imbrication entre expérimentation et
évaluation doit se faire dès le début pour éviter des
résistances prévisibles à l'idée et aux pratiques
d'évaluation.
¾
Objectifs, finalités et valeurs de l'expérimentation différent
de ceux de l'évaluation. Quelle est la cohérence entre les
deux ? En quoi les deux logiques diffèrent-elles ?
Le séminaire a été
l’occasion pour les participants de prendre connaissance
avec le nouveau lycée hôtelier Guillaume TIREL et ses
possibilités d’accueil en restauration :
salle prestige et salle brasserie. Accueil, accord des mets
et des vins, tout le monde a été très satisfait. N’empêche
que ce pourrait être un bon sujet d’étude pour notre
question : le repas est-il évaluable ?
Tout d’abord, qu’est-ce
que nous pouvons évaluer dans ce repas ? De façon
différenciée et concomitante, ce n’est pas la moindre des
difficultés : le vin, le menu, la salle de restaurant,
l’accueil, le service, les convives, la qualité des mets,
l’encadrement, le prix de la prestation….Préciser l’objet de
notre évaluation n’est donc pas la plus facile des tâches.
S’agirait-il de tout évaluer ou de ne retenir que ce qui est
signifiant pour nous ?
Et puis, pourquoi nous
faudrait-il l’évaluer, ce repas ? D’une certaine manière,
l’évaluation se fait malgré tout ou malgré vous : de manière
informelle, toute gustative et de satisfaction, elle
s’instruit ; votre évaluation, pré-consciente et non
instrumentée, vous renseigne sur vos choix futurs qui
guideront quelques actes : reviendrez-vous au restaurant
d’application ? Participerez-vous encore une autre fois à un
séminaire de
la MAIE ?
Si donc je suis
d’accord sur ce principe, comment puis-je l’évaluer, ce
repas ? Le plus simple pour moi, c’est de savoir, puis de
dire, si j’ai aimé ce que j’ai eu dans l’assiette et dans
mon verre. Peut-être aussi de communiquer avec mes
commensaux sur le cadre et le service ; je peux tout de go
manifester ma satisfaction, voire ma curiosité au jeune
serveur ; un pourboire traduira enfin ma reconnaissance et
ma satisfaction. Apparaissent donc plusieurs modalités et
des niveaux différents en évaluation.
Savez-vous aussi que ce
repas est un moment de formation et d’apprentissage pour des
élèves en BEP, observés par leur enseignant ? Il était donc
forcément évalué, alors que vous pouviez dans un premier
moment penser que vous seriez, en tant que client, le seul
et unique évaluateur. C’est donc une question de point de
vue et d’acteurs. Votre perception, votre intention, vos
modalités sont différentes de ceux du professeur qui était
derrière vous dans une même réalité.
Il est enfin
intéressant de constater que cette situation originale et un
peu bizarre du service en restaurant d’application, en
particulier pour un public enseignant, produit quelques
effets : vous avez pu manifester de la sympathie, voire un
attendrissement pour des jeunes garçons et des jeunes
filles, présentant correctement, et eux-mêmes quelque peu
intimidés par leurs débuts dans le service de salle en
situation d’évaluation. Votre attitude est quasi
compensatoire, forcément bienveillante pour contre-balancer
l’exigence et la raideur méthodologique et professionnelle
de leur professeurs de salle. Leur accompagnement est
rapproché, leur intervention précise auprès de l’élève.
S’inscrire dans le registre de l’évaluation a toujours des
effets attendus…. Et inattendus.
Allez, finalement,
c’était bon, et on reviendra !
Qu'évalue-t-on quand on évalue?
Dans tous les dispositifs, innovation ou expérimentation, on
peut distinguer des objets explicites ou apparents et des
objets implicites, parfois cachés ; finalement, s’il s’agit
d’extraire la valeur d’une expérimentation, quel serait
l’objet, quels seraient les domaines les plus significatifs ?
L’analyse des objets d’évaluation dans les trois dispositifs
présentés permet de poser trois constats :
A l’étude des actions, ont été envisagés à la fois plusieurs
domaines possibles (cités pour exemple):
§
Des objets relatifs
aux élèves : remise au travail, respect des règle,
adhésion au projet, compétences visées, maîtrise du
langage, acquisition, curiosité scientifique et
questionnement insertion des élèves après retour
§
Des objets relatifs
aux enseignants : adhésion au projet, méthodes
employées au regard des objectifs
§
Des objets relatifs
au dispositif : production d’écrits, rayonnement de
l’action, impact sur la famille, impact sur la classe,
rapport et écarts au cahier des charges, production
§
Des objets relatifs
à l’établissement : image de l’établissement, suivi
des résultats
De fait, nous pourrions proposer à partir des mêmes items un
classement différent en empruntant la grille des niveaux de
formation employée en ingénierie de formation :
Tableau 1
|
Tableau d’impact de l’expérimentation |
Domaines d’évaluation
|
|
Niveaux d’évaluation |
Elèves |
Enseignants |
Direction |
établissement |
partenaires |
|
Niveau 1 : satisfaction
|
adhésion au projet |
adhésion au projet, |
|
|
adhésion au projet, |
|
Niveau 2 : acquisition
|
remise au travail, respect
des règles |
méthodes employées au regard
des objectifs |
|
|
|
|
Niveau 3 : compétences
|
compétences visées, maîtrise
du langage, acquisition, curiosité scientifique et
questionnement |
production d’écrits
production, |
rapport et écarts au cahier
des charges, |
suivi des résultats |
|
|
Niveau 4 : impacts sur l’organisation et la structure
|
insertion des élèves après
retour |
impact sur la classe, |
image de l’établissement |
rayonnement de l’action
transposition possible |
impact sur la famille,
|
Le premier cercle concentre l’observation propre à une
équipe enseignante, touchant d’abord le domaine des
apprentissages (acquisitions, puis validation des
compétences). Objet explicite car objectif simple :
améliorer la performance des élèves.
Mais l’équipe gagnerait à élargir son observation dans au
moins deux directions : d’une part, en procédant à une
enquête plus systématique auprès des élèves (niveau de
satisfaction), d’autre part en analysant l’organisation de
son propre travail d’équipe ; expérimenter avec des élèves,
c’est aussi expérimenter pour soi.
Le deuxième cercle élargit l’observation en englobant le
niveau 4 (impacts sur l’organisation) et le domaine de
l’établissement. Il correspond au coordonnateur du projet,
et à l’équipe de direction. Les objets sont plus complexes
car les objectifs deviennent alors multiples : progression
des résultats des élèves, amélioration de l’organisation,
efficience de l’équipe.
Le troisième cercle complète l’observation en élargissant
encore le niveau 4. L’évaluation est ainsi plus globale, en
s’attachant à croiser les regards et en s’attardant sur les
différents niveaux. Ce type d’évaluation, partagée, plus
complexe, plus longue à instruire, serait propre à
l’expérimentation. Elle se caractérise par la variété des
objets d’évaluation correspondant à des objectifs
complémentaires : meilleure réussite des élèves, plus grande
efficience des équipes en établissement, expérimentation au
bénéficie du système éducatif.
Une telle complexité est peut-être la meilleure garantie
d’éviter une évaluation rapportée aux personnes par trop
unidimensionnelle, et parfois réductrice, voire asséchante
au regard de la richesse de l’action.
Comment faisons-nous pour
évaluer?
Dans la conduite de l’action
innovante ou expérimentale, comment l’équipe s’est-elle
organisée pour prendre de l’information et réguler son
dispositif ? Quelle instrumentation s’est-elle donnée ou
fabriquée ? A quel moment l’évaluation s’incarne-t-elle ?
A uniformiser tous les actes d’évaluation, on tend à saturer
l’espace et à interdire l’efficacité de l’action. Un
principal d’un collège a dénombré sur une année scolaire
tous les actes d’évaluation délivrés ; il en a détecté plus
de 90 000 pour 600 élèves. A ce stade, on peut pronostiquer
pour les acteurs une perte de sens et un questionnement de
fond sur les compétences réputées expertes qui ont besoin de
tant de prise d’information pour organiser leur activité.
Le « comment faire pour faire » reste encore une
interrogation sans réponse pour le groupe, ce qui n’est pas
le moindre des paradoxes pour nous tous, qui sommes supposés
pratiquer l’évaluation au quotidien. Cette difficulté
constatée est à relier directement avec le chapitre
précédent consacré aux objets de l’évaluation.
En fait, compte tenu des conclusions précédentes – il existe
de nombreux objets d’évaluation répartis selon quatre
niveaux – une variété des modalités,des techniques et des
outils d’évaluation s’impose.
Nous pouvons à cette fin convoquer des modalités classiques,
des techniques éprouvées : enquêtes, questionnaires,
entretiens, enregistrements, photographies, bilans
collectifs, écrits individuels, évaluations traditionnelles.
Mais nous inclinons aussi à la créativité nécessaire : le
gage de l’efficacité d’un outil d’évaluation réside non tant
dans sa standardisation que dans la mise en œuvre de la
totalité du processus qui va de la conception au bilan en
passant par l’exécution, l’ajustement, etc.
A l’exercice, certaines modalités et techniques peuvent
paraître plus adaptées pour recueillir de l’information. Par
exemple, demander à un élève ce qu’il a appris a un effet
réel sur la mobilisation de ses connaissances. Mais croiser
cette modalité avec une autre – par exemple une épreuve qui
valide des compétences – permet d’affiner et d’enrichir
l’évaluation.
Dans le même sens, on peut aussi croiser les regards
évaluatifs : il pourrait être intéressant que les moments
d’évaluation soient conduits par d’autres personnes que
celles qui ont accompagné les élèves dans l’apprentissage,
que l’évaluation soit conçue comme un moment d’ouverture qui
rend plus visible, plus lisible le travail engagé.
En géographie, on dit que le paysage n’est pas l’espace. On
ne peut appréhender un espace qu’en croisant les points de
vue sur les paysages d’une même zone.
· « On est tenté par l’idée d’une évaluation globale, totale,
parfaite, capable de prendre en compte toutes les
dimensions de l’action : une telle démarche est
extrêmement lourde. Il est possible de travailler à des
évaluations plus simples qui croisent des regards
différents et qui permettent d’avancer, d’avoir des
temps d’échange avec d’autres, de construire ensemble une
démarche qui alternerait de manière assez étroite l’action
et le regard que l’on porte sur l’action. »
(CNDP, évaluer les pratiques innovantes, actes des
journées d’études des 26 et 27 mars 2001)
L’expérimentation pédagogique, dans l’acception de l’article 34,
rend nécessaire l’établissement d’un protocole de suivi puis
d’évaluation, qui n’existe pas dans le cas de l’innovation
pédagogique. En cela, l’examen des « modalités » devient
essentiel. Pour parer à toute dérive possible, quelques
principes peuvent être énoncés pour guider nos travaux :
¨
La contractualisation porte sur un ensemble cohérent
·
des objectifs précisés et contextualisés
·
des effets attendus, formulés en objectifs d'impact
·
des modalités de mises en oeuvre recentrées sur les
pratiques et les apprentissages
·
des moyens prévisionnels et programmés diversifiés (dont
le PFE,
plan de
formation d'établissement)
·
un dispositif d'évaluation exprimé en indicateurs et
paramètres
¨
Protocole
de l’évaluation de l’expérimentation
L’évaluation et ses procédures doivent rester simples et
compréhensibles pour les acteurs. Elles peuvent ainsi
être à la fois modestes et pragmatiques, en s’ajustant aux
moyens disponibles dans l’académie pour conduire l’opération.
L’évaluation n’est pas un contrôle, il ne s’agit pas de
juger les hommes dans leurs actions.
L’évaluation objective et rigoureuse d’une pratique innovante
ne peut être conduite par les seuls acteurs directement
impliqués dans l’action. Il est indispensable de croiser
plusieurs regards (comme celui du chef d’établissement,
animateur ou coordonnateur de l’action pédagogique, de
l’inspecteur, ou du chercheur).
En tant que processus, l’évaluation s’inscrit dans une durée
moyenne et doit laisser à l’expérimentation du temps ; la
phase évaluative est en quelque chose différée, mais la
communication sur l’action est régulière.
¨
Méthodologie d’évaluation transparente
L’évaluation, processus en lui-même, doit veiller à articuler
implication des acteurs et distance nécessaire. On peut
proposer plusieurs étapes :
1- Elaborer un dispositif d’évaluation,
à partir d’une analyse partagée avec les acteurs de terrain.
Analyse d’indicateurs objectifs et choix sélectif d’impacts : des
indicateurs pourront porter sur les mesures suivantes :
- les indicateurs devant mesurer l'activité et le fonctionnement
- les indicateurs devant mesurer l'impact sur les parcours
scolaires et les réussites des élèves
- des indicateurs qualitatifs (niveau de satisfaction des
utilisateurs, dysfonctionnements observés, etc .)
2- Organiser la variété des méthodologies en
évaluation :
Différentes méthodologies pourront être sollicitées : suivi du
parcours des élèves, mémoire de l’action et collecte
documentaire, entretiens et visites, enquêtes, réunions de
régulation, communications sur la pratique.
Mutualiser documents et outils de suivi (sur le site
académique, documentation sur les IPES et indicateurs
académiques, sites ressources, notices bibliographiques et
apports experts)
3- Accompagner l’équipe dans la conduite de l’expérimentation
et dans l’analyse de la pratique,
et éventuellement proposer un appui formation sur site
(analyse d’indicateurs, mise en place de la démarche, analyse
de pratiques, liées à l’expérimentation ou à l’évaluation)
· « Si l'on admet l'idée
selon laquelle l'innovation est une désobéissance locale
qui a réussi, on reconnaît qu'elle entraîne la présence
simultanée et complémentaire de deux systèmes d'évaluation :
interne et externe»
(Dupuy et Thoenig, " L'administration en miettes ", Fayard, 1985)
4- Réguler les dispositifs
en réunissant leurs coordonnateurs, sous l’autorité du
responsable institutionnel du domaine concerné, selon une
fréquence régulière
5- Conduire ensemble bilans intermédiaires et évaluation
finale
Un bilan de l'expérimentation devra être édité à plusieurs
échéances, apportant ainsi à l'évaluation une dimension
comparative dans le temps et permettant de corriger les
dysfonctionnements. Il sera communiqué à l’équipe d’école ou
d’établissement.
Les écrits feront l’objet d’une synthèse, communiquée au
niveau national au Haut Conseil de l’Evaluation.
Les dispositifs expérimentaux
(re)posent la question de l’évaluation de l’action
pédagogique. Analyse interne du fonctionnement, évaluation
externe du dispositif ? Comment concilier ces deux pratiques,
comment valider l’évaluation par les acteurs premiers et
réintégrer les acteurs classiques ou plus nouveaux de
l’évaluation (inspection, chefs d’établissement, chercheurs
etc…) ?
L’analyse des cas présentés lors des ateliers a montré
quelques constantes, pas toujours « macabres » dirait André
Antibi.
Se lancer dans l’évaluation de dispositifs implique de plus
en plus d’acteurs ; on évalue toujours les élèves, même si
l’auto-évaluation se développe. Les parents semblent tenus
encore hors du champ évaluatif, quoique…
Paradoxalement, l’évaluation construite existe quand elle
est obligatoire et sollicitée par une instance extérieure et
partenariale, mais aussi financière. Ainsi, l’évaluation
est encore très généralement perçue comme une injonction
externe et toute prescriptive, et non comme un besoin.
Manifestement, les équipes qui s’engagent à présent dans un
dispositif d’évaluation de leur action sont prises dans un
processus enrôlant, au sens qu’ils assument des rôles
nouveaux ; des élèves, des parents, des partenaires, et
même…. des enseignants sont désormais sollicités pour leur
avis circonstancié, eux à qui on n’en avait jamais parlé
auparavant ; des enseignants du primaire, toujours évalués
et sans aucune connaissance directe des résultats, donc
objets de l’évaluation deviennent acteurs et organisateurs
de leur évaluation. Le même processus se dégage avec les
élèves qui sont sollicités dans ce nouveau rôle. Avec profit
pour tout le monde.
L'évaluation n'est pas un acte anodin. Il y a un pouvoir de
l'évaluation. Qui définit les objectifs et les critères de
l'évaluation ? Quel usage en fait-on ? Usage formatif ?
Usage d'accompagnement ou usage pour sanctionner, réguler
des moyens, répartir des moyens. Qui est le commanditaire de
l’évaluation ?, Pourquoi la demande-t-il ? Que va-t-il en
faire ? Qui décide ?
Mokthar Kaddouri a osé la Parabole de la quiche (met servi
au repas du midi): dans la quiche, le porc, qui fournit le
lard, est un acteur impliqué, mais la poule, qui donne
l’œuf, est un acteur seulement concerné. Cette distinction
est importante à faire entre les acteurs concernés et ceux
qui « jouent leur peau ».
L’exposition à l’évaluation peut brûler. Il faut valoriser
les personnes et ne pas les mettre en danger. Tout
dispositif peut être amélioré, à condition de soutenir les
personnels et de les réassurer sur le cadre de
l’expérimentation.
· « Il faut sortir l’innovation de ce mythe, s’intéresser à des
actions plus modestes, les accompagner, les
analyser, permettre aux équipes d’échanger avec d’autres
et de se sentir reconnues dans ce qu’elles font. »
(CNDP, évaluer les pratiques innovantes, actes des
journées d’études des 26 et 27 mars 2001)
Chacun évalue en fonction de ses propres critères
d’évaluation. Si les critères ne sont pas contractualisés,
il risque d'y avoir conflit entre les acteurs de
l'évaluation. Il faut donc définir collectivement ces
critères.
Ainsi, s’engager dans une évaluation participative oblige
chacune des parties à un apprentissage commun, une
« négociation convenable », sans perdant ni gagnant ;
reconnaître que chacun, dans sa position, son statut, sa
fonction, doit apprendre, n’est pas la moindre des
difficultés dans une institution qui s’est organisée
historiquement dans une partition des statuts et des
fonctions.
Dans cette mesure, l’expérimentation pédagogique se révèle
être aussi une expérimentation institutionnelle : elle
interroge les acteurs sur leurs propres compétences, et par
delà, leur identité professionnelle.
Cette dimension cachée de l’évaluation, qui doit savoir
articuler les acteurs et les lieux de pouvoir, demandera
sans doute quelques temps et quelques
terrains…d’expérimentation.
Les premiers acteurs de l’évaluation sont les personnels
directement engagés dans l’action. A ce titre, l’évaluation
présente assurément une utilité interne,
c'est-à-dire qu’elle informe les acteurs du système
(enseignants, élèves, administrateurs, etc.) sur leur
action, l'organisation (du système, de l'établissement,
etc.) et les aide à les infléchir pour les améliorer.
§
Outil de régulation,
elle permet de recentrer l'action autour d'objectifs bien
identifiés, objectifs que cette évaluation fait donc évoluer
régulièrement au cours de l'action elle-même.
§
Outil de communication,
l'évaluation interne utilise des indicateurs qui mesurent
l'utilité de l'action innovante et la pertinence des
modalités de sa mise en œuvre.
§
Outil de fédération,
elle rassemble, autour de la régulation des objectifs, les
membres de chaque équipe et les équipes entre elles.
 |
Schéma des boucles
d'évaluation: On
observe deux boucles "évaluatives":
1- La première régulation
vise à améliorer le programme ou l'action au
regard des objectifs fixés; pour une plus grande
efficience. Des bilans d'étape permettent de réajuster
les interventions, les collaborations, la distribution
des ressources. C'est une régulation "pédagogique".
2- la deuxième régulation
s'appuie sur les évaluations pour requestionner, un cran
plus haut, les objectifs, après un temps suffisant de
déroulement de l'action. En ce sens,
l'évaluation de l'expérimentation requestionne les
objectifs. |
| |
|
L’évaluation de l’expérimentation présente par nature une
utilité externe, destinée à informer la société
(décideurs, parents d'élèves, employeurs, etc.) sur l'état
du service éducatif, notamment sur sa qualité, ses
résultats, mais aussi son coût et son fonctionnement.
§
Outil de valorisation et de validation locale,
elle reconnaît aux acteurs les moyens d'initier et de
poursuivre leur action.
§
Outil de validation, l'évaluation externe permet d'assurer la
transposition de l'innovation, ou tout du moins de quelques
éléments caractéristiques, en relation avec d’autres
expériences, en conformité avec le cadre de référence
institutionnel.
L'évaluation de l'innovation n'est pas une fin en soi, elle est le
véritable moteur de la conduite du changement elle repose
sur la responsabilisation des acteurs et leur coopération.
L’utilité sociale d’une évaluation
dépend des conditions d’appropriation de cette évaluation
par les acteurs L’enjeu social et l’enjeu stratégique sont
intimement liés.
Evaluer pourquoi ou…. Pour
quoi ?
Rapprocher l’évaluation de
tout dispositif innovant ou expérimental crée de l’inquiétude
chez les acteurs, équipe ou chef d’établissement. Il est
possible de différer l’évaluation, mais il importe de trouver
quelques éléments de réponse à la question suivante : évaluer,
pour quoi faire ?
Nous aurions pu (ou dû ?) commencer par cette question :
évaluer pourquoi, ou pour quoi ? La réponse semblait
simple, admise par tous, partagée, acceptée et tellement
claire.
L’examen des échanges dans les ateliers montre bien le
contraire ; et qu’avant de travailler sur les modalités, les
procédures, les outils d’évaluation, il est important de
dégager l’horizon et de trouver ensemble quelques réponses.
Alors, au choix ? Evaluer pour évoluer, communiquer,
essaimer, décentraliser le système, le dynamiser ou le
dynamiter !
D’autre part, il semble méthodologiquement important de
réfléchir à la différence entre finalités de
l’expérimentation et finalités de l’évaluation.
Le retour à une définition générique de l’évaluation ne doit pas
nous masquer que dans le cas de l’expérimentation nous
sommes encore en présence d’une pratique sociale, qui plus
est dans une institution bien souvent saturée par toutes
formes d’évaluation.
C’est pourquoi il nous semble utile de recourir à une forme de
cartographie que Jacques Nimier présente sur son site :
le tableau ci-dessous nous permet intelligemment et
utilement de mieux identifier la spécificité de l’évaluation
de l’expérimentation, et d’éloigner momentanément de nos
pratiques quelques autres verbes approchants comme
« inspecter » ou encore « contrôler ».
Evaluer, ce peut être….
|
|
Par rapport à une personne |
Par rapport à un système |
|
|
Résolution de difficultés |
Apprentissage |
Par personne interne au système |
Par personne externe au système |
|
 Avec
Référentiel |
INSPECTER |
CONTRÔLER |
Avec mesure d'écart |
CONTRÔLER |
FAIRE un AUDIT |
|
CONSEILLER |
ENSEIGNER |
Sans mesure d'écart |
|
Sans Référentiel |
Avec Interprétation |
ANALYSER |
DIAGNOSTIQUER |
|
Sans Interprétation |
AIDER |
FORMER |
ENQUÊTER |
|
|
|
|
|
|
|
|
|
L’évaluation de l’expérimentation se trouve ici
L’expérimentation a ceci de particulier qu’elle entend
explicitement introduire une dimension externe. Beaucoup de
« ex » dans tout cela, comme dans E-valuer (c'est-à-dire
étymologiquement, « extraire la valeur »). La communication à
autrui est donc essentielle dans le dispositif : elle
participe de l’essence même de l’action.
· « L’évaluation devient ainsi productrice de valeur,
au sens étymologique du terme, c’est-à-dire, octroyant
du sens, là où il avait disparu au profit du
visible. Cette évaluation est, par conséquent, éloignée de
celle pratiquée habituellement, qui s’arrête aux effets sans
saisir le commencement des commencements, sans aller de
l’aval vers l’amont. Cette évaluation est une
plus-value de sens, une découverte à travers une
analyse du processus. »
(CNDP, évaluer les
pratiques innovantes, actes des journées d’études des 26 et
27 mars 2001)
Stufflebeam
a avancé une définition
suffisamment générique pour redonner à l’évaluation une
finalité : l’aide à la prise de décisions.
|
ÉVALUER : aider à prendre des décisions
processus (1) par lequel on définit (2), obtient (3) et
fournit (4) des informations (5) utiles (6) permettant de
juger les décisions possibles (7)
(1) processus = activité continue
(2) on définit = identifier les informations
pertinentes
(3) on obtient = collecte, analyse, mesure des
données
(4) on fournit = communiquer ces données
(5) des informations = faits à interpréter
(6) informations utiles = qui satisfont aux
critères de pertinence
(7) décisions possibles = actions d'enseignement,
d'orientation etc.... |
Passer d’une évaluation subjective à une évaluation réfléchie et
instrumentée est un moyen de conforter les
équipes dans leurs choix, de permettre la régulation de
l’action, sa valorisation et d’en
faciliter la diffusion.
Elle a pour but de rendre intelligible l’originalité
des démarches et les buts poursuivis.
L’évaluation sert à la fois de validation et de régulation de
l’action.
L’incitation à évaluer l’innovation contribue à lui conférer son
statut d’initiative innovante
Si l’on reprend alors les grandes finalités assignées à
l’évaluation, comme :
|
DIAGNOSTIQUE |
analyse des situations, des besoins, des profils et
pré-requis d'élèves |
|
PRONOSTIQUE |
élaboration d'un projet, test initial |
|
FORMATIVE-FORMATRICE |
accompagnement de l'apprentissage, remédiation |
|
SOMMATIVE-CERTIFICATIVE |
bilan, jugement, décision par tests terminaux, diplômes |
Force est de constater alors que dans le cas de l’évaluation
de l’expérimentation, on retrouve dans ce processus réaffirmé
par Stufflebeam plusieurs niveaux :
-
elle est bien
diagnostique, quand nous devons au moment de l’autorisation
académique faire une première évaluation de la situation, des
chances, des risques, des potentialités de sa réussite.
-
Elle est aussi
pronostique, quand nous travaillons de manière concertée sur
les impacts attendus au regard de la situation initiale
-
Elle est dans tous
les cas formative, quand le dispositif associe étroitement
l’équipe aux procédures
-
Elle est enfin
sommative, quand à l’issue du terme fixé (deux à cinq ans), il
faudra dresser le bilan et dire la « valeur » de
l’expérimentation.
· « L’évaluation des innovations scolaires comporte des enjeux
importants car ce type particulier d’évaluation
préfigure l’école de demain: mobile, anticipatrice,
créatrice, capable de cerner toutes les capacités et
compétences portées par l’homme, à la manière de
ce qui se déroule pour la validation des acquis
d’expérience ou la validation des acquis professionnels. »
(CNDP, évaluer les
pratiques innovantes, actes des journées d’études des 26
et 27 mars 2001)
Quelques repères historiques :
-
19ème
: l’inspection sur
des normes de fonctionnement
-
Début 20ème :
l’évaluation de résultats par des outils quantitatifs
-
1930 :
l’évaluation par rapport à des objectifs fixés (Tyler)
-
1970 :
l’évaluation en fonction de décisions à prendre (Stufflebeam)
-
1980 :
l’évaluation en fonction des acteurs et de leurs enjeux (Patton)
-
Depuis, de
nombreux modèles d’évaluation basés sur la collaboration
et la participation.
S’engager dans un processus
puis un dispositif d’évaluation organisé sur son action,
innovante ou expérimentale, induit des changements. Peut-on
les qualifier ? A quels domaines, à quels publics
s’appliquent-ils ? Dans quelle mesure ces effets, désirés ou
non désirés, sont-ils des facteurs de progrès ?
L'évaluation existe toujours même quand elle n'est pas
organisée, et quand bien même on les ignore, elle a des
effets. Les collègues connaissent bien « radio trottoir », une
évaluation à l’encan, au cancan pourrait-on dire aussi, une
évaluation externe non instrumentée par les usagers du service
public. Elle produit des effets très directs sur la réputation
de tel ou tel, maître, école, équipe, projet, option….. Sans
que les acteurs internes puissent intervenir.
S'occuper des effets de l’évaluation, c'est tenter de
maîtriser au mieux l’évaluation des dispositifs. Il faut
peut-être éviter de laisser les autres évaluer son propre
dispositif, selon des critères contestables. Ainsi, organiser
l’évaluation permet aux équipes de passer d'un statut passif à
un statut dynamique.
· « Il y a un véritable paradoxe à associer le terme
d'évaluation, souvent conçu comme un temps
d'arrêt, un acte ponctuel, à celui
d'innovation, qui est un dispositif inscrit
dans la durée.»
(CNIRS, 1er février 2001)
Sans trop jouer sur les mots, il peut être utile de
distinguer l'escompté de l'attendu : un objectif suppose un
résultat escompté qui doit servir de base à une évaluation.
Supposons par exemple un professeur de langue qui souhaite
faire acquérir à ses élèves la structure de la phrase
interro-négative. Il fait travailler les élèves en binômes.
Les séances d’exercice seront suivies d’une évaluation qui
permettra de mesurer l’acquisition. On est là du côté de
l’effet escompté. Mais il se peut que ce professeur attende
aussi du travail en binôme une amélioration des relations
entre garçons et filles de la classe et que, pour ce faire, il
constitue des paires mixtes. Voilà un exemple d’effet attendu.
Toute action, et a fortiori toute action expérimentale,
produit aussi des effets inattendus, voire des effets pervers
ou contraires à ceux qu’on attendait.
Evalue-t-on des effets seulement escomptés, et si oui, selon
quels critères ?
La question repose en termes un peu différents le problème de
l'impact : l'élève qui, après un séjour en DSA, revient dans
sa classe d'origine et qui déçoit son professeur montre que
l'impact, c'est l'effet conjugué de plusieurs paramètres.
Cela montre que les collègues des classes d'origine doivent
être impliqués pour qu'ils prennent conscience des critères
d'évaluation.
Effets sur les élèves:
L'évaluation produit des changements chez eux dans le
comportement
Effets sur le projet
L'évaluation interne permanente permet de changer le projet,
de le réguler en cours de route.
Effets sur les personnels
La généralisation des dispositifs? On peut en faire le
deuil. On ne peut transférer à l'identique. Une enquête sur
les acteurs de l'innovation a révélé que l'évaluation sur
leurs dispositifs les a rendus plus forts et leur a permis
d'évoluer dans leur carrière. La mise en mot a des effets
fréquents de développement des compétences professionnelles.
Effets sur l'équipe impliquée et sur l'établissement
L'évaluation fait apparaître les progrès et dynamise
l'équipe. Elle montre au reste de l’établissement qu'il s’y
passe des choses positives.
Effets sur les partenaires
Evaluer permet de montrer ce qui se fait
Effets sur l'institution
L'évaluation met en relief des manques, des
dysfonctionnements de l'institution. Elle permet aussi de
pose la question de la transférabilité des dispositifs
On peut s’autoriser aussi à sourire de quelques dérives
possibles et constatées de l’évaluation en (ab)usant des
métaphores suivantes, autant de garde-fous préventifs dans les
élaborations communes de nos dossiers expérimentaux !
o
Mirage scientifique de
l’évaluation
o
Refuge juridique
o
Usine à gaz
o
Béquille externe
o
Couperet à
la Guillotin
o
Dommage collatéral
o
Confusion des genres
o
Communication tous azimuts
o
Ambition totalisante,
absolutisme
o
Nœud gordien jamais tranché
o
Obsession paralysante
o
Logique comptable
o
Babillage théoricien
· « Il ne faut pas mythifier l’innovation comme on a tendance à le
faire de l’évaluation»
(CNDP, évaluer les
pratiques innovantes, actes des journées d’études des 26 et
27 mars 2001)
L’évaluation, qu’elle ait été prévue sui generis dans le cadre
d’une innovation, ou alors commanditée par un niveau supérieur
dans le cadre de l’expérimentation, produit des effets. Elle
expose non tant les travaux, objets explicites d’évaluation,
que les personnes.
Elle « intervient » au sens qu’elle s’immisce dans un système
complexe de relations, de pouvoirs, d’acteurs : elle produit
des perturbations que nous pouvons identifier, et que la
docimologie a théorisés :
Effet de tendance centrale
Par crainte de surévaluer ou de sous-évaluer un élève, le
professeur groupe ses appréciations vers le centre de
l'échelle.
Effet de flou
Les objectifs poursuivis et les critères de notation ne sont
pas toujours définis avec précision. Attention à l'évaluation qui infantilise. Certains évalués ne
voient pas les finalités qu'il faut expliciter.
Effet de stéréotypie
L’évaluateur maintient un jugement immuable sur la performance
d'un dispositif, quelles que soient ses variations effectives.
Effet de contamination
Les notes attribuées successivement aux différents aspects
d'un même travail s'influencent mutuellement.
Effet de relativisation
Plutôt que de juger intrinsèquement d'un travail, les
professeurs jugent ce dernier en fonction du contexte dans
lequel il est inséré.
Effet de l'ordre de correction
Devant un nouveau travail ou un nouveau candidat à évaluer, un
juge se laisser influencer par la qualité du candidat
précédent. Un travail moyen paraîtra bon s'il suit un travail
médiocre.
Effet de halo
L’évaluateur, influencé par des caractéristiques de
présentation (soin, écriture, orthographe) surestime ou
sous-estime son appréciation, écrite, notée ...
Effet de fatigue ou d'ennui
Il peut engendrer laxisme ou sur-sévérité
Effet de trop grande indulgence et de trop grande sévérité
Certains sont systématiquement trop indulgents ou trop sévères
dans toutes leurs évaluations.
· « Une mauvaise expérience n'est pas celle qui échoue,
mais celle dont on n'apprend rien pour la suivante. Une
bonne expérience est celle dont les épreuves viennent très
tôt mettre en péril les évidences qui servaient à définir le
projet.»
(Bruno Latour in " La recherche " N°314 novembre 98)
A ce stade, certaines définitions sont indispensables.
extraits du rapport de l'IGEN, l'évaluation des collèges et des lycées
en France, juillet 2004, n°118
|
|
Vérification de l'application
par un agent ou par une organisation d'une norme ou d'un ensemble
de normes fixées extérieurement à cette organisation. |
|
|
Regard détaillé porté sur une
organisation sous la forme d'un contrôle de l'ensemble de ses
fonctions |
|
|
Vérification de l'application
par une organisation d'un ensemble de normes entrant dans la
définition de la qualité |
|
|
Jugement porté sur l'activité
d'un agent ou d'une organisation en considération de ses
résultats, proposant des explications du niveau d'atteinte de ces
résultats dans le but de permettre à l'agent ou à l'organisation
de les améliorer. |
|
|
Evaluation conduite sur
lui-même ou sur elle-même par un agent ou par une organisation |
|
|
Evaluation conduite sur une
organisation par des agents désignés à cette fin faisant partie de
cette organisation |
|
|
Evaluation d'une organisation
par des acteurs extérieurs à elle, que leur statut d'évaluateur
soit occasionnel ou permanent qu'ils appartiennent ou non à
l'éducation nationale. |
|
|
représentation chiffrée d'un
phénomène que l'on veut contrôler |
|
|
mesure de l'atteinte par un
agent ou une organisation d'objectifs prédéterminés |
|
|
Conséquences, conscientes ou
non, de l'activité d'un agent ou d'une organisation, sur cet
agent, sur cette organisation, sur l'environnement |
|
|
Partie de l'évaluation d'une
organisation qui mesure si ses différentes activités atteignent
les objectifs fixés |
|
|
Partie de l'évaluation d'une
organisation qui mesure sa capacité à bénéficier de façon égale à
ses différents usagers |
|
|
Partie de l'évaluation d'une
organisation qui met en rapport les résultats de ses différentes
activités avec les moyens (financiers, humains etc...),
qui leur sont consacrés. |
Ardoino & Berger, D’une évaluation en miettes à une évaluation
en actes, chez Andsha, 1989,
Ardoino, J. (1993). L’approche multiréférentielle (plurielle)
des situations éducatives et formatives. Pratiques de
formation, n25-26, 15-34.
CROS Françoise,
2004,
L'innovation
scolaire aux risques de son évaluation,
Paris, L'Harmattan.
CROS Françoise, 2002, Repérage et évaluation des
innovations,
L'enseignant comme chercheur
,
Patras (Grèce), Ed Metaivmio, pp. 113 à 132.
CROS Françoise, 1992, Le projet d'établissement et son
évaluation, Actes du Colloque
L'auto-évaluation de l'établissement scolaire,
Manama, Barheim, 12p.
DE PERETTI .A, 1998,
Encyclopédie
de l'évaluation en formation et en éducation,
ESF,
Revue Française de Pédagogie,
Paris, INRP, n°121, pp. 123-226.
BARBIER, J.-M., L’Évaluation en formation, Paris,
PUF, 1994
HUBERMAN, M., De l’innovation scolaire et son marchandage,
Revue européenne de sciences sociales, n° 20, 1982, p. 59-85.
HUBERMAN, M., S’évaluer pour s’illusionner ? Promesses et
écueils de l’évaluation adaptative-interactive des innovations
scolaires, Cahiers du groupe des chercheurs romans en
pédagogie, n° 9, Neuchâtel, 1983.
- Les incertitudes de l’évaluation: quoi évaluer? Pourquoi
évaluer? Comment évaluer? , Éducation permanente, n° 41,
1977.
-
Évaluer les pratiques innovantes,
Collectif INRP Collection “Pratiques innovantes” CNDP, 2002
Évaluation interne et évaluation externe : concurrence ou
complémentarité?, Michel Bonami, N° 38, Avril 2005, Cahiers du
GIRSEF, disponible sur
http://www.uclouvain.be/cps/ucl/doc/girsef/documents/038cahier.pdf
Pour info, la 6ème et dernière leçon de la synthèse du
symposium sur les effets de l'éducation artistique et
culturelle. L’intervention s’intéresse directement à
l’évaluation des actions.
http://www.centrepompidou.fr/divers/pdf/SymEducart_syntheseJMLauret.pdf
Bonniol, J.J. & Vial, M. (1997). Les modèles de
l’évaluation – Textes fondateurs avec commentaires.
De Boeck : Paris, Bruxelles.
Campanale, F. (1997). Autoévaluation et transformation de
pratiques pédagogiques., Mesure et évaluation en éducation,
Vol. 20 (n°1), 1-24.
De
Ketele, J.M. & Gérard, F.M. (2005). La validation des épreuves
d’évaluation selon l’approche par les compétences. Mesure
et Evaluation en Education, 2005, Vol. 28
(n°3), 1-26.
Fernagu-Oudet, S. (2004). Ingénierie de professionnalisation
et didactique professionnelle. Recherche et Formation, n°46,
117-135
Hadji, C. (1990). Evaluation, les règles du jeu. ESF.
Hadji, C. (1997). L’évaluation démystifiée. ESF.
Le
Boterf, G. (2000). Construire les compétences individuelles
et collectives. Paris, Éditions d’organisation.
Stufflebeam, D. et al. (1980). L’évaluation en
éducation et la prise de décision. Ottawa : NHP.
Scallon, G. (2004). L’évaluation des apprentissages dans
une approche par compétences. Bruxelles : De Boeck.
En
complément du présent livret, vous trouverez sur le site
INNOVATION textes, apports et ressources relatifs à
l’évaluation (les liens sont actifs sur le fichier word, à
télécharger)
Apports théoriques et ressources en
évaluation
La réponse, c’est la mort de la question
Maurice Blanchot
Objets de l’évaluation
¾
Est-ce un dispositif qui est
évalué, ou les acteurs qui y sont impliqués ?
¾
Le regard évaluatif porte-t-il
plutôt sur la manière dont l’action est mise en œuvre, ou sur
ses effets, ses résultats ?
¾
A-t-on distingué les niveaux
d’évaluation (satisfaction, acquis, compétences, système) ?
Modalités de l’évaluation
¾
A-t-on distingué les modalités
(à chaud, à froid…) des outils (enquête, questionnaire,
entretien…) ?
¾
A-t-on associé dans le processus
d’évaluation les évaluateurs et les évalués ?
¾
A-t-on pensé à croiser les
regards et à faire évaluer par l’autre ?
Acteurs de l’évaluation
¾
Les acteurs de l’évaluation
sont-ils impliqués dans ce qui est évalué ou seulement
concernés?
¾
Qui définit les objectifs et les
critères de l’évaluation
¾
Les acteurs du processus
connaissent-ils les finalités de l’évaluation ?
Finalités de l’évaluation
¾
A-t-on distingué le pourquoi
(cause) du pour quoi (fin) on évalue ?
¾
A-t-on pris en compte la
dimension sociale de l’évaluation (communiquer, extraire la
valeur) ?
¾
A-t-on distingué objectifs et
finalités (l’objectif est opérationnel, la finalité renvoie
aux valeurs, elle implique une dimension éthique) ?
Effets de l’évaluation
¾
De quels effets parle-t-on :
effets escomptés (eux seuls sont en relation avec un
objectif), effets attendus, effets non attendus, effets
pervers, effets contraires ?
¾
Des effets sur qui, sur quoi
s’agit-il : élèves, acteurs de l’action, action elle-même,
établissement, partenaires, institution?
¾
Peut-on, pour la suite de
l’expérimentation, transformer les effets attendus en effets
escomptés ?
La conception du dispositif d’évaluation de l’expérimentation
renvoie donc directement aux niveaux 3 et 4 (voir les tableaux
1 et 2 dans le chapitre « Objets de l’évaluation »), celui des
compétences et celui des impacts. A la question « que
souhaitez-vous exactement faire évoluer ? » (à voir avec les
finalités), s’adjoint donc la question « que faut-il alors
observer ? » ; la grande majorité des dossiers instruits
actuellement doit construire ou densifier ce niveau d’impacts.
A ce stade, nous pouvons alors rappeler à notre mémoire un
document, certes déjà ancien, mais qui a eu le mérite de
proposer
125 indicateurs pour évaluer les établissements.
Répartis en cinq grands domaines, ces indicateurs sont d’abord
et seulement des indications. Pour votre expérimentation, vous
pourriez alors opter pour deux items puisés dans chacun des
domaines, soit en tout dix indicateurs. Il faudrait
déterminer l’intensité pour chacun d’eux.
Ces indicateurs sont évaluables suivant les cas, par la suite,
en choisissant pour chacun d'eux:
des paramètres qualitatifs:
clarté, pertinence, conformité, amélioration, originalité,
précision, variété etc...
et/ou des paramètres quantitatifs:
fréquence, degré d'importance, mesures d'intensité,
pourcentages, totaux, densités, moyennes, défauts, limites etc
....
et/ou des paramètres descriptifs:
présence ou non de certains éléments typiques,
caractéristiques d'images, critères spécifiques, processus
définis, appréciations, progrès, bilans etc...
Cela constituerait ainsi un tableau d’indicateurs variés et
significatifs. Observables, ce sont des bons « thermomètres »
qu’une équipe, accompagnée de partenaires en évaluation, peut
suivre sur le moyen terme.
Une démarche similaire et tout aussi outillée est proposée par
Gustin, A. (2001). Management des établissements
scolaires : de l’évaluation institutionnelles à la gestion
stratégie, Bruxelles, De Boeck Université. Il prend en
considération neuf cadres organisateurs de l’enseignement mais
également les données contextuelles.
Les cadres organisateurs correspondent aux ressources
humaines, aux dispositifs de formation, au temps, aux
ressources financières et aux coûts, à la communication, à la
prospective, aux aspects sociaux, culturels et symboliques,
aux services à la société et aux relations extérieures et au
cadre de vie.
Pour chacun de ces cadres organisateurs, Gustin reprend les
variables d’entrée, de processus et de sortie et propose un
dispositif d’évaluation pour les établissements d’enseignement
basé sur celles-ci. Cette proposition est présentée en tant
que cadre général d’analyse pour une évaluation
institutionnelle qui privilégie la dimension pédagogique de
l’enseignement ainsi qu’une approche systémique du processus
d’enseignement.
En
pratique
Les neufs cadres organisateurs ne représentent pas moins de
155 critères. Comment aborder cet ensemble important de
variables ? Comment le gérer ?
Gustin propose plusieurs lectures du modèle de Stufflebeam :
par le contexte, par les missions, par les cadres
organisateurs ou par les critères et les indicateurs. Gustin
présente par ailleurs six fiches pratiques afin de guider les
établissements d’enseignement supérieur dans leur propre
démarche d’évaluation. Ces fiches proposent notamment de
s’interroger sur les fondements de la formation ou encore de
rechercher le consensus lorsqu’il s’agit d’introduire des
changements significatifs dans l’institution.
Les
avantages et les limites
Cette approche représente un cadre général au sein duquel
l’établissement devra développer sa propre démarche. Elle est
donc en ce sens relativement souple. De plus, les variables
reprises dans les différents cadres organisateurs sont
abordées dans une perspective systémique. La démarche intègre
par ailleurs d’emblée des outils déjà existants au sein des
Hautes Ecoles tels que le PPSC et les rapports d’activités.
Cependant, le nombre de variables prises en considération est
relativement important et si une description des cadres
organisateurs est donnée, ce n’est pas toujours le cas pour
les variables qui les composent. Il est par ailleurs essentiel
d’inscrire les tableaux de variables dans une démarche globale
et donc de bien prendre connaissance de l’angle d’approche
développé. Dans le cas présent, il s’agit de l’enseignement et
de l’apprentissage.
Extrait de
Gustin, A. (2001). Management des établissements
scolaires : de l’évaluation institutionnelles à la gestion
stratégie, Bruxelles, De Boeck Université. Il prend en
considération neuf cadres organisateurs de l’enseignement mais
également les données contextuelles.
|
Cadres organisateurs |
Variables d’entrée |
Variables de processus |
Variables de produit |
|
Ressources Humaines
(formés, formateurs et décideurs internes) |
1. Effectifs des formés
2. Effectifs des formateurs
3. Effectifs des décideurs internes
|
1. Recrutement des formés
2. Taux d’encadrement
3. Ratio étudiants/enseignants
4. Suivi des étudiants et soutien
5. Absentéisme
6. Participation à la vie institutionnelle
7. Concertation avec les enseignants
8. Profil social de l’établissement
9. Conflits sociaux
10. Recrutement des formateurs
11. Répartition horaire des enseignants
12. Répartition des enseignants par discipline, âge…
13. Importance de la charge
14. Absentéisme
15. Conflits sociaux
16. Participation à la vie institutionnelle
17. Recrutement des décideurs internes
18. Explicitation des compétences des décideurs internes |
1. Flux des formés
2. Résultats des formés
3. Abandon des formés
4. Changements internes des formés
5. Diplômes délivrés
6. Durée moyenne d’obtention des diplômes
7. Taux de placement des formés en fonction du
marché de travail
8. Degré de maîtrise des savoirs des formés
9. Publications des résultats des formés
10. Degré d’autonomie et d’accomplissement des formés
11. Flux des formateurs
12. Formations suivies par les formateurs
13. Formations gérées par les formateurs
14. Identité professionnelle des formateurs
15. Compétences professionnelles des formateurs
16. Publication des compétences professionnelles des
professeurs
17. Changements approuvés et exécutés par les décideurs
internes
18. Politique institutionnelle
19. Identité institutionnelle |
|
Les dispositifs de formation |
1. L’offre d’enseignement
2. Evolution de l’offre d’enseignement
3. Politique et objectifs de formation
4. Référentiels de formation
5. Centre de ressources, de communication, de
multimédia… |
1. Objectifs de formation
2. Référentiels de formation
3. Logiques de formations mises en œuvre
4. Logiques didactiques mises en œuvre
5. Suivi des étudiants
6. Critères de passage et de certification
7. Logiques d’évaluation et de certification |
1. Culture professionnelle
2. Innovations, aides didactiques
3. Utilisation et degré de satisfaction des centres
de ressources et de communication
4. Accueil
5. Attractivités : degrés de satisfaction des
formés, formateurs, maîtres de stage, pairs et experts
extérieurs |
|
Le temps |
1. Calendrier « social » de l’année académique
2. Grille horaire des filières de formation
3. Temps de formation par rapport à ses composantes
4. Le temps de l’étudiant |
1. Planification des activités de formation
2. Horaire journalier et hebdomadaire type
3. Temps d’occupation des espaces scolaires |
1. Nature des ajustements introduits dans
l’organisation temporelle
2. Nature et importance des stages extérieurs |
|
Les ressources financières – les coûts |
1. Ressources / origine
2. Evolution des ressources dans le temps
3. Etudiants boursiers
4. Subsides sociaux |
1. Affectation des ressources
2. Evolution dans le temps de l’affectation des
ressources |
1. Coût moyen de la formation et son évolution pour
l’étudiant, le diplômé, les familles et la société
2. Coût moyen et évolution du personnel
|
|
La communication |
1. Politique générale de formation (PPSC)
2. Politique de communication
3. Dispositif de communication / logistique
4. Organigramme / compétence
5. Composantes / objets de la communication formelle
6. Composantes / objets de la communication interne |
1. Politique de communication et sa cohérence par
rapport à la politique générale de formation
2. Formes de la communication / nature du message
3. Styles de direction
4. Groupes et assemblées
5. Rôle des étudiants |
1. Le profil social de l’établissement
2. La culture d’établissement
3. Rapports d’activités comme outils de gestion et
de décision
4. Styles de direction |
|
La prospective |
1. Domaines d’études soumis à la prospective
2. Appui logistique (budget) |
1. Politique en matière de prospective et
responsabilités
2. Partenaires externes / modes de relation
3. Fonctionnement de l’unité de prospective |
1. Rapports d’activités
2. Colloques / congrès (implication)
3. Transfert vers l’enseignement
|
|
Aspects sociaux, culturels et symboliques |
1. Supports de la vie sociale
2. Support de la fonction culturelle et symbolique |
1. Politique sociale et culturelle
2. Nature et importance des activités et des
services sociaux et culturels
3. Nature et importance des partenariats
4. Participation aux instances d’avis et de décision
internes à l’établissement |
1. Identité de l’établissement
2. Culture de l’établissement
3. Présence dans la cité
4. Ethos scolaire
5. Sentiment d’appartenance |
|
Le service à la société et les relations extérieures
|
1. Possibilités de mobilité d’étudiants et
professeurs
2. Moyens affectés aux relations extérieures
|
1. Séjours - accueil professeur / étudiants
2. Revues internationales / langues
3. Cours en langues étrangères
4. Stages à l’étranger
5. Partenariats, accords, conventions
6. Nature et importance des programmes d’échanges
internationaux |
1. Identité, réputation de l’établissement
2. Diplômes communs
3. Evaluation des pratiques d’enseignement et de
recherche
|
|
Cadre de vie |
1. Attractivité du site :
Capacité des salles de cours / taux d’occupation –
superficie disponible par usager
Equipement des salles de cours, laboratoires…
Accès aux locaux
Propreté générale, hygiène
…
2. Services
Accueil des étudiants
Informations générales
Cantine, cafétéria etc |
La journée académique
consacrée à l’évaluation en éducation et en formation ne
pouvait se terminer sans que nous nous livrions à un petit
exercice… d’évaluation. Nous l’avons proposé sous deux
formes :
¾
une
contribution écrite individuelle en trois questions (niveau 1,
satisfaction et 2, acquisition)
¾
une
élaboration collective sur un grand panneau en forme de carré
magique ou de Sudoku, ci-dessous.
Sont proposés 9 suites
possibles pour continuer les travaux et échanges. On y
retrouve variété, complémentarité des modalités et
individualisation envisagée. On pourrait regrouper les items
en :
-
apports
théoriques et formatifs
-
mise en
réseau des actions et échanges entre personnels
-
analyse de
la pratique et des expérimentations
-
valorisation
des actions et des personnels
Les scores reportés
ici nous donnent de précieuses indications sur le programme
prévisionnel de pilotage et d’accompagnement des équipes au
niveau académique.
|
Séminaire
à l’identique
15 |
Forum
d’échanges
25
|
Demi-journée
Etudes de cas
23 |
|
Publications
papier
(revue Innovatio)
13 |
Participation
à des
Interacadémiques
17
|
Visite
(conseil, analyse)
sur site
recevoir : 11
aller voir : 13 |
|
Accompagnement de
l’équipe sur site
6 |
Liste de diffusion
Internet
11 |
Prise en compte
par l’inspection
9
|
Binet fut un précurseur, très en avance sur son temps,
pratiquant une approche globale par laquelle on calcule un
QI (selon l'invention de Stern), une mesure quantitative
globale.
Le Ministère de l'Education Nationale de l'époque lui
avait demandé de construire un outil pour identifier les
élèves qui n'arriveraient pas à suivre avec profit à
l'école; cet objectif pratique a fait sortir l'évaluation
de l'intelligence de l'impasse où elle était. Jusque-là on
mesurait des temps de réaction, on faisait de la
craniométrie (dit rapidement : un gros crâne indiquait
une plus grande intelligence); Il est à l'origine de la
notion d'âge mental, âge obtenu par les scores dans ces
différentes situations, divisé par l'âge réel de l'enfant,
et multiplié par 100. Binet a analysé très finement les
erreurs et les réponses des enfants et l’on peut
reconnaître, sans qu’ils soient nommés, les concepts
actuels de psychologie cognitive de mémoire à long terme,
à court terme, de capacité attentionnelle, de sens
critique (fonctionnement exécutif).
extraits du rapport de l'IGEN,
l'évaluation des collèges et des lycées en France, juillet
2004, n°118
I
Evaluer l'expérimentation
