Action 4 : Évaluation par la recherche-action

Afin d’effectuer l’étude la plus complète possible, il était tout d’abord nécessaire de définir ce qu’est l’évaluation de politiques publiques. Une évaluation prend en compte les Objectifs fixés au démarrage du projet. Elle va chercher à savoir si ces objectifs sont atteints. Pour cela, les chercheurs observeront les Résultats obtenus à terme de l’évaluation et produits directement par le dispositif.  L’évaluation va définir si les résultats sont différents ou non des objectifs envisagés. Une comparaison est donc effectuée.

Cette comparaison peut se faire à deux niveaux différents :

• De façon Quantitative, soit en mesurant l’écart chiffré entre le prévu et le réalisé.
• De façon Qualitative, soit en appréciant la différence de nature entre le prévu et le réalisé.

En plus de cela, l’évaluation aura pour but de mesurer les effets et l’impact d’un dispositif. Attention de ne pas confondre les deux :

• L’Impact correspond à un changement durable après la fin du dispositif. C’est ce qui va rester après l’achèvement du projet. Cependant, anticiper l’impact est difficile car de nombreux éléments extérieurs au projet peuvent intervenir, rendant aussi l’impact compliqué à mesurer. Dans tous les cas, il se mesure à terme du projet, il est donc possible de prendre son temps pour l’évaluer.
• Les Effets sont des incidences directes mais aussi indirectes du projet. Ils peuvent provenir de facteurs extérieurs à l’action. Par conséquent, en observant l’environnement du dispositif évalué, il est possible, dans une moindre mesure, d’en anticiper les effets, avec une marge d’incertitude.

Dans le cas du dispositif, la procédure d’évaluation est complexe car plusieurs éléments sont à évaluer. Selon ce qu’on veut mesurer, les méthodes divergent, et différents outils existent. Plusieurs questions se bousculent, et permettent donc de prévoir plusieurs angles d’évaluation. Elles se réaliseront en ex post. Le terrain est préparé par le Céreq pour qu’elles se passent le mieux possible.

1. Volet quantitatif

L'efficacité du dispositif :

La question centrale consiste à évaluer l’efficacité d’À vous le sup'. Le dispositif fonctionne-t-il sur nos bénéficiaires ? Ceux-ci se démarquent-ils de la population ? Ainsi, les méthodes de mesure d’impact net sont les plus pertinentes car elles permettent de vérifier quantitativement ce que le projet aura permis d’accomplir

Les méthodes de mesure d’impact net des dispositifs de politiques publiques

• Les méthodes de mesure d’impact de politiques publiques sont variées. On en dénombre plusieurs, adaptées pour divers cas de figure. Pour chacune, on considère que l’on a accès à des données d’individus ayant bénéficié de la politique publique évaluée (le groupe test) et à des données d’individus n’en ayant pas bénéficié (le groupe témoin). On observe une variable explicative, qui démontre l’impact de la politique publique sur une autre variable, la variable expliquée. Dans notre cas, on peut citer en variable explicative la participation au dispositif, et en variable expliquée

• Les méthodes d’expérimentation aléatoires : C’est une méthode de tirage au sort des individus dans le groupe test et le groupe témoin, qui garantit que les individus sont comparables au regard de leurs caractéristiques observables et inobservables. On mesure ainsi l’écart des moyennes de la variable d’intérêt dans le groupe test et le groupe témoin. Cette méthode assure que l’écart observé est bien dû à la politique publique introduite et non aux caractéristiques individuelles.

• La méthode de « différences de différences » : Elle consiste à observer la variable d’intérêt dans le groupe test avant la mesure puis après la mesure, et à l’observer aussi avant et après dans le groupe témoin. On regarde l’effet de la politique publique en réalisant une soustraction : la différence entre la situation du groupe test après et avant la mesure moins la différence entre la situation du groupe témoin après et avant la mesure. On peut ainsi observer l’effet des caractéristiques individuelles des individus et les effets de modification de l’environnement.

• Les méthodes de régression par discontinuité : Elle considère que la participation à la politique publique dépend d’un seuil. Elle repose sur l’hypothèse que les individus proches du seuil sont statistiquement comparables et ne diffèrent que du fait de leur participation ou non à la politique publique. La méthode consiste alors à comparer les résultats des participants et des non participants localisés au voisinage du seuil de participation.

• Les méthodes de variables instrumentales : Cette méthode exploite une variable ou un ensemble de variables, appelé instrument, qui est statistiquement corrélé à la variable explicative mais non corrélé à la variable expliquée. Ainsi l’instrument permet d’identifier l’effet de la politique publique sur la variable expliquée.

• Les méthodes d’appariement : On constitue des paires entre des individus des groupes test et témoin présentant des caractéristiques individuelles similaires, et pouvant influencer la variable expliquée. On calcule un score de propension pour chaque individu, via ses caractéristiques individuelles. On réalise ensuite des « couples » entre les groupes test et témoin, permettant d’obtenir une comparaison « toutes choses égales par ailleurs » : la variable expliquée ne dépend que de la variable explicative.

La méthode d’appariement pourrait être utilisée de manière globale dans l’ensemble du dispositif : avec une population témoin, nous pourrions comparer l’entrée et la réussite dans le supérieur, toutes choses égales par ailleurs, avec notre population de bénéficiaires.

        2. Volet qualitatif

L'effet sur les bénéficiaires et sur les tuteurs

Outre l’efficacité, nous pouvons aussi évaluer d’autres questions posées par le dispositif. Par exemple, l’effet du projet sur les bénéficiaires et les tuteurs participant aux interventions. Peuvent-ils en tirer des enseignements ? Pour cela, nous pourrons avoir recours à une méthode plus qualitative. On cherchera à savoir l’effet du dispositif sur ces populations. Pour ce faire, nous pourrons réaliser des entretiens semi directifs ou des questionnaires.

Pour les bénéficiaires, il serait judicieux d’interroger un élève avant sa participation à sa première action, pour connaître ses choix d’orientation. Cela nous permettrait de connaître son état d’esprit sur l’enseignement supérieur et sur son parcours futur. En l’interrogeant ensuite à la sortie du dispositif, quelques années plus tard, l’élève pourrait nous faire part de son évolution, et si le dispositif a à voir avec cela.

Nous avons imaginé un exemple pour cette situation. Nous nous sommes inspirés de l’Action 3 portée par Sciences Po, et d’une sous-action en particulier appelée « À nous la lecture ». Ce projet a pour ambition de préparer les élèves de collège à l’enseignement supérieur par une approche mêlant la lecture d’ouvrages, des réflexions et des débats sur l’orientation, des échanges avec des étudiantes tutrices et des étudiants tuteurs aux profils variés et la production d’un travail collectif en lien avec la lecture et l’orientation. Les tuteurs suivent une formation pour les préparer au mieux à aider les élèves. Ainsi, dans ce cas de figure, nous pensions à mettre en place des questionnaires à remplir par les élèves, à différents moments :

• Au premier jour du programme, afin de savoir comment ils se situent sur les problématiques de l’orientation.
• Au dernier jour du programme, à l’aide d’un questionnaire s’inspirant du premier, pour constater ou non une évolution.

Il serait possible de comparer ces résultats obtenus par l’interrogation d’une autre population, disposant de caractéristiques similaires à nos bénéficiaires, mais n’ayant pas bénéficié du dispositif. Ils pourraient être interrogés aussi au premier et au dernier jour de ce programme, pour observer si leurs conclusions sont les mêmes sans avoir bénéficié de l’action, mais après un certain laps de temps.

D’un autre côté, il serait intéressant de comparer les réponses d’un étudiant tuteur à un entretien à différents moments du projet. Une formation est prévue pour les tuteurs, pour les sensibiliser aux questions d’À vous le sup' et de réussir leur intervention. Un premier entretien pourrait être réalisé avant cette formation. Il porterait sur l’avis des tuteurs quant aux politiques d’orientation, et plus précisément sur À vous le sup’ et ses procédés. Cette même interview pourrait être réalisée ensuite quand le tuteur sera intervenu auprès des élèves. Il pourra nous donner ses impressions, que nous pourrons comparer avec son premier ressenti, pour voir si une évolution s’est faite sentir.