Évaluer nos politiques publiques ne répond pas seulement à un impératif budgétaire. Il s’agit aussi et surtout d’améliorer l’efficacité de l’intervention publique. Or il faut, pour cela, disposer d’une information objective permettant d’identifier les politiques et les dispositifs produisant les meilleurs résultats. L’objet de l’évaluation d’impact est précisément de construire rigoureusement cette information.
À la recherche de la causalité pure
Comment ? En comparant la situation des bénéficiaires d’une politique publique à celle qu’elle aurait été en l’absence d’intervention – situation hypothétique qu’on appelle « contrefactuelle ». Un chômeur aurait-il retrouvé un emploi sans le stage de formation qu’il a suivi ? Un élève aurait-il eu de meilleurs résultats scolaires dans une classe de taille plus petite ?
L’exercice suppose d’une part de choisir des indicateurs pertinents au regard de l’objectif poursuivi – le retour en emploi, les résultats scolaires – et de neutraliser les biais de sélection – les chômeurs non bénéficiaires du stage, pris pour comparaison, doivent avoir des caractéristiques similaires à celles des bénéficiaires. Objectif de ces précautions de rigueur ? Établir une causalité pure et non un simple lien de corrélation entre la politique évaluée et les résultats attendus. Quant au choix de la méthode, il dépend essentiellement des contraintes opérationnelles et de la disponibilité des données. L’expérimentation contrôlée ou aléatoire est souvent privilégiée mais d’autres méthodes sont également courantes, comme la différence de différence, la régression par discontinuité, les variables instrumentales ou le matching.
Généraliser, interpréter et comparer
Aller au-delà de la mesure des impacts sur les seuls bénéficiaires nécessite souvent d’avoir recours à une approche structurelle, c'est-à-dire faisant appel à une représentation de l’économie, de ses mécanismes et du comportement des agents. L’approche structurelle peut s’avérer utile (et même indispensable) pour simuler la généralisation d’une intervention – l’impact d’une extension du RSA aux moins de 25 ans par exemple. Elle l’est aussi pour interpréter les résultats, c’est-à-dire comprendre les mécanismes économiques à l’œuvre et les quantifier – dit autrement : expliquer les causes des effets mesurés. Attention cependant, les résultats sont très sensibles aux hypothèses qui sous-tendent la représentation du modèle.
Autre méthode susceptible de fournir des clés de compréhension utiles : l’approche qualitative basée sur des entretiens et de l’observation directe. Complémentaire de l’approche quantitative, elle peut être mobilisée pour comprendre les causes de non-recours à certains dispositifs par exemple ou, plus généralement, celles de résultats mitigés au regard des effets attendus. Enfin, c’est l’analyse coût-efficacité ou coût-bénéfice qui est mobilisée quand il s’agit de comparer entre elles des politiques publiques.
De l’usage des bonnes pratiques
Qu’il s’agisse de mesurer l’impact d’un dispositif sur ses bénéficiaires ou les effets de sa généralisation, d’expliquer les raisons de son échec ou de son succès, ou encore d’en mesurer l’efficience relative, les résultats des évaluations doivent produire des résultats, non seulement rigoureux, mais également compréhensibles par les décideurs et l’opinion publique.
De là, un certain nombre de bonnes pratiques à respecter au cours de l’exercice : s’appuyer sur les travaux disponibles, prendre garde aux limites de chaque méthode, s’interroger sur le caractère transposable des résultats à une population plus large, favoriser la pluridisciplinarité des approches, et enfin veiller à l’impartialité du commanditaire comme à l’indépendance des évaluateurs.
Parce que l’efficacité des politiques publiques est un enjeu majeur, la loi, lorsqu’elle instaure un nouveau dispositif, pourrait non seulement prévoir son évaluation, mais aussi les moyens nécessaires à cette évaluation… dans les règles de l’art.
Céline Mareuge
Auteurs
