Le 19 septembre 2016, la CGT Insertion Probation participait à une réunion organisée par la direction de projet SPIP de la direction de l’administration pénitentiaire dont l’un des sujets était la recherche action sur les outils d’évaluation des publics suivis par les conseillers d’insertion et de probation. Nous avons pu ainsi par le biais d’une visioconférence confronter nos points de vue à ceux des chercheurs, dont le rapport final a été rendu cet été.
La CGT insertion probation a fait une lecture très attentive de ce rapport et a interpellé Denis LAFORTUNE (université de Montréal) et Astrid HIRSCHELMANN (université rennes II) leur faisant part sans ambages de nos critiques et observations autant sur la méthode que sur le fond.
Sur plusieurs points, ils ont eux-mêmes reconnu les manques de cette « recherche », mais défendent coûte que coûte leurs conclusions visant au déploiement, dans un premier temps, d’un seul outil actuariel d’évaluation appelé le LS/CMI. Le moins que l’on puisse dire c’est qu’ils n’ont pas convaincu !
Pour autant, l’administration pénitentiaire n’entend que ce qu’elle veut bien entendre et s’accroche à son « joujou ». Il est atterrant de voir à quel point l’administration ne parvient pas se remettre en cause et préfère se fourvoyer en validant les yeux fermés ce rapport de « recherche » qui pourtant à sa simple lecture livre tous les arguments pour être démonté.
Version imprimable communiqué CGT
Pour rappel, la recherche action s’est déroulée dans 6 SPIP (Paris, Val d’Oise, Yvelines, Landes, Corrèze et Charente). Elle visait à tester des outils d’évaluation utilisés dans des pays étrangers. 6 outils ont été testés : Guide Info, LS/CMI, FACILE RX, FACILE RX auto, SAPROF et IREC (outils retenus car en français et applicables à l’ensemble de nos publics : milieu ouvert comme milieu fermé). L’objectif de la recherche action étant d’étudier l’accueil et l’appropriation ; la pertinence, la fidélité inter juge et l’analyse de l’alliance de travail de ces outils dans le contexte français.
Méthode de la recherche action :
Présentation sur les terrains de ces outils et de leur utilisation. Suivi de l’appropriation des CPIP par des carnets de bord à remplir durant la recherche action.
Utilisation de ces outils par les CPIP. Leur a été demandé de tester au moins 5 fois chaque outil. Au total 192 CPIP étaient concernés, ce qui devait aboutir à plus de 4800 utilisations.
Test de la fidélité inter-juge (utilisation du même outil sur la même personne par 2 CPIP pour comparer la corrélation des résultats). 80 binômes de CPIP avaient été prévus pour cela.
Étude de l’alliance de travail (comparaison entre un groupe de PPSMJ ayant fait l’objet de l’utilisation de ces outils et un autre groupe suivi dans un cadre classique afin d’évaluer l’impact sur la relation CPIP – PPSMJ).
Un cumul de casquettes qui interroge sur la neutralité et l’objectivité des « chercheurs »
Les chercheurs sont à la fois les concepteurs et promoteurs des outils expérimentés, mais également les formateurs sollicités par la DAP, les consultants de l’administration, les concepteurs de programmes de prise en charge et même les évaluateurs !… Cette position de juge et partie soulève de sérieuses réserves sur l’objectivité de la démarche. De plus, il n’échappera à personne qu’il s’agit là d’un marché juteux porteur, même si les chercheurs se sont plaints de ne pas rentrer dans leurs frais « pour le moment ». On a failli verser une larme ! La recherche action a pour l’instant coûté 60.000 euros et devront s’ajouter l’achat de la licence du LS/CMI, les adaptations au contexte français, les « honoraires » du professeur émérite de l’Université de Montréal Jean Pierre Guay, (lui-même partie prenante de cette recherche action) qui formerait les formateurs relais, et ceux des chercheurs PREVA qui participeraient à la supervision de ce déploiement. Conscients de ce travers, les chercheurs ont tenté de nous rassurer en nous expliquant qu’ils avaient mis à chaque fois que possible des intermédiaires afin de ne pas intervenir directement sur le déroulement de la recherche action en faisant appel à leurs étudiants ! Nous voilà rassurés ! Denis LAFORTUNE a aussi tenté de nous démontrer que s’il n’avait pas été neutre, il aurait sélectionné les outils qu’il a lui-même conçus… Euh, oui pas dans un premier temps mais en fait si, dans un second temps… puisqu’il propose aussi le déploiement de son outil (FACILES-RX et qu’il vend des programmes « Parcours » de prise en charge…). Ça aurait pu presque passer inaperçu !
L’absence de données chiffrées concernant l’accueil et l’appropriation des outils
La CGT émet de grandes réserves sur ce point au regard des éléments du rapport final. L’accueil des outils par les CPIP est pour le moins réservé. Ainsi, le rapport indique noir sur blanc qu’aucun des outils n’a obtenu un pourcentage d’avis favorable supérieur à 48% (et encore, ce score est réservé au FACILE RX auto, le seul outil qui n’est pas rempli par le CPIP mais par la PPSMJ pour s’évaluer elle même), le pourcentage d’avis favorable le plus élevé pour un outil rempli par les CPIP étant le LS-CMI avec 42% : il y a donc 58% d’avis négatifs ! Les chercheurs expliquent dans un premier temps que 42% d’avis positifs ne signifient pas pour autant que la totalité du reste des avis soient négatifs. C’est pourtant bien ce qui figure dans les annexes du rapport (p. 179), ce que la CGT n’a pas manqué de relever et ce que les chercheurs (après vérification) ont finalement reconnu… Pour les chercheurs ces chiffres sont à relativiser car recueillis en début de recherche action. Ils ne refléteraient donc pas l’évolution positive connue en cours de recherche action. Cette affirmation est fausse car les groupes des discussions ont tous eu lieu en juin et septembre 2015, après donc la phase d’expérimentation des outils. Cette prétendue évolution n’est néanmoins démontrée autrement que par du déclaratif que les chercheurs expliquent avoir recueilli essentiellement au cours de Comités Nationaux de Suivi de la recherche action, c’est-à-dire les grandes messes organisées à la DAP par la direction de projet. Mais les chercheurs nous assurent de leur bonne foi !
Cette absence de chiffrage est d’ailleurs un reproche général que nous portons à l’ensemble du rapport final, la recherche action concernant l’implantation d’outils se présente comme scientifique mais ne s’impose aucune rigueur dans la recherche. On ne compte pas la longue liste de données non chiffrées remplacées par des termes loin d’être scientifiques « quelques », « certains », « plusieurs », « aux yeux de certains », « des gens »… Sont évoquées tout au long du document trois catégories de CPIP : les « sceptiques voire opposés », les « avis partagé » et les « convaincus », sans que ne soit jamais évoquée leur proportion. Ils disent évaluer ces groupes à 1/3, 1/3, 1/3. Proportion non démontrée dans le rapport et dont le résultat, bien qu’il soit perçu comme une évolution très positive selon les chercheurs au regard du contexte de départ extrêmement défavorable, nous paraît loin d’être convainquant ! Pour les chercheurs cette démarche est normale et dite « qualitative et non quantitative ». Mais alors pourquoi ne pas avoir utiliser un fameux outil d’évaluation pour donner un résultat fiable alors que nous savons que ces résultats s’apparentent à une jugement clinique non structuré n’ayant aucune valeur rigoureuse, non ? Rigueur scientifique donc au doigt mouillé !
La faiblesse de l’échantillon sur lequel porte la recherche action
Le nombre d’évaluations réalisées est particulièrement faible et bien moindre que celui des objectifs prévus initialement (qui était déjà faible au regard du nombre de PPSMJ prises en charge dans nos services). Ainsi, en moyenne les CPIP ont utilisés 2,5 outils. Le nombre d’évaluation rendue est d’environ 800 (bien loin très loin des plus de 4800 attendues). Le nombre maximal d’utilisations pour un outil va de 66 à 257 (le plus grand nombre correspondant au LS-CMI). Le nombre d’évaluations rendues par les binômes visant à vérifier la fidélité inter-juge est là encore très faible : allant de 54 à 88 (le plus grand nombre correspondant au LS-CMI) là ou plus de 120 évaluation étaient attendues initialement. La faiblesse du nombre de retour n’a d’ailleurs tout simplement pas permis d’étudier ce critère concernant le FACILE RX… Le nombre de questionnaires permettant d’évaluer l’impact de l’outil sur la relation avec le public est lui aussi affligeant : seulement 78 retours alors que 200 étaient attendus.
Face à ces critiques de méthodes formulées par la CGT, les chercheurs ont finalement reconnu ces lacunes. Ils évoquent les réticences des collègues, la surcharge de travail, le suivi de la démarche à distance et… le mouvement social ! Pour rappel l’expérimentation s’est déroulée pendant 4 mois sur 2015, le mouvement social a débuté quant à lui en février !!! Bien tenté mais nous ne sommes pas dupes !
L’absence de démonstration de l’impact positif de l’outil dans la relation avec la PPSMJ ou encore de la pertinence de l’utilisation de l’outil
La recherche avait pour objet de mesurer les conséquences de l’utilisation des outils sur « l’alliance de travail » en faisant remplir un questionnaire aux personnes suivies en comparant deux groupes l’un suivi dans le cadre de l’utilisation de l’outil et l’autre dans le cadre de suivis classiques. Là encore, le faible nombre de réponses et les modes de passation des questionnaires peu rigoureux ne permettent pas de tirer des conclusions dans un sens ou dans un autre.
De plus, le temps très réduit de l’expérimentation (4 mois) ne permettait pas en soi de mesurer l’impact sur la relation entre les CPIP et les personnes suivies, et encore moins de démontrer la pertinence de l’outil actuariel choisi.
En ce qui concerne la validité des instruments, Denis Lafortune explique qu’il aurait fallu avoir de 2 à 5 ans de recul pour vérifier si l’outil mesurait correctement le risque de récidive, encore une expérimentation qui n’a pas été menée à son terme !
Des conclusions et préconisations qui ne correspondent pas aux résultats
Pourtant malgré l’ensemble de ces critiques, la conclusion de ce rapport est bien que ces outils sont transposables, que les CPIP en sont demandeurs, et qu’ils seraient également demandeurs d’un outil de priorisation (purement actuariel statique), d’outils spécifiques pour certaines infractions, et en plus de programmes de prise en charge.
Au vu du rapport, il aurait pu être légitimement décidé de ne pas retenir d’outils d’évaluation de type actuariel ou de prolonger la recherche action afin de la fiabiliser.
Il n’en est rien le rapport final préconisant de retenir l’outil auquel les CPIP ont le plus adhéré (qualifié par nos soins comme celui le moins rejeté) soit le « formidable » LS-CMI qui est coté.
Malgré toutes ces critiques et réserves, l’administration ne se pose pas de question et fait corps avec les préconisations de l’équipe de chercheurs ! Pour rappel, il y a un an, la direction de projet était clair : « au vu des résultats de la recherche action, l’administration retiendra un ou plusieurs outils ou aucun outil du tout ». Quelle mauvaise foi !
Nous savions que la recherche action était biaisée dès le départ ne permettant qu’à des chercheurs convaincus par les concepts du RBR (besoins risques réceptivité) d’y répondre. L’administration avait d’ailleurs refusé d’exploiter d’autres pistes de co-construction d’outils d’évaluation basés sur les méthodologies du travail social, comme la CGT l’avait proposé !
Nous savions que le côté chronophage de ces outils d’évaluation ne permettrait pas aux collègues de terrain qui subissent des surcharges de travail importantes d’expérimenter ces outils dans de bonnes conditions. Ces conditions de travail ont d’ailleurs totalement biaisé cette expérimentation.
Aujourd’hui, l’expérimentation a eu comme seul intérêt de permettre aux collègues qui ont expérimenté ces outils d’évaluation de redécouvrir des champs inexplorés dans les entretiens, champs inexplorés du fait des charges de travail, du manque de formation et des injonctions paradoxales que nous subissons depuis de nombreuses années.
Pour la CGT insertion probation, tout ceci démontre à quel point ce ne sont pas des grilles actuarielles qui amélioreront nos méthodes et la qualité de nos prises en charge mais bien la mise en place d’organigrammes, d’un ratio de prise en charge, d’une formation de qualité, de supervisions, de collectifs de travail, et l’affirmation de notre autonomie, et de missions résolument ancrées dans un accompagnement socio-éducatif et non dans la gestion du risque, voire de dangerosité et la gestion de flux.
Nous appelons l’ensemble des personnels à lire le rapport final de la recherche action PREVA (lien), d’en discuter collectivement dans les services.
Nous invitons également l’ensemble des personnels à lire des publications (lien sur quelques articles) qui démontrent à quel point les conséquences de l’utilisation de telles grilles sont loin d’être anodines et qu’elles sont loin de faire consensus comme on voudrait nous le faire croire !
Pour la GT insertion probation, les grilles actuarielles sont des outils d’asservissement des professionnels, réduisent leur autonomie et sont discriminantes envers les publics suivis.
Pour la CGT insertion probation, c’est définitivement non !
Montreuil, le 23 septembre 2016