HMD-PROD
Les tableaux de bord dans la démarche d’évaluation
La terminologie de l’évaluation
L’évaluation s’appuie sur un ensemble de concepts et d’outils dont la plupart ont été importés des pays anglo-saxons. Dans le secteur, le moins que l’on puisse dire est que la langue Française n’a guère eu l’occasion de s’illustrer. Si l’on s’en tient au domaine d’application des bibliothèques, on observe en effet que les experts Français ont davantage fait porter leurs efforts sur l’adaptation de démarches et la traduction de termes utilisés par leurs collègues Britanniques ou Américains que sur des propositions véritablement originales qui auraient pu générer une terminologie propre.
Cet état de fait, qui a pour conséquence de donner à l’ensemble du vocabulaire de l’évaluation une coloration parfois étrange et, de toute façon, étrangère : la distinction subtile et néanmoins essentielle entre le terme d’efficience et celui d’efficacité, le sens même du terme d’évaluation (moins équivoque en Anglais qu’en Français), fournissent des exemples éloquents de l’aridité sémantique de la littérature sur le sujet. Celui-ci fait écho au langage du management et du marketing, dont elle est d’ailleurs en grande partie issue. Il faut, toutefois souligner que l’important travail de traduction et de pédagogie conduit par notamment Pierre CARBONE et Thierry GIAPPICONI depuis le début des années 90 a été mené, dés le départ, dans le cadre de leur participation à des instances internationales de recherche et de normalisation. En effet, la mise en place relativement rapide d’un vocabulaire « contrôlé », validé par l’association Française de normalisation (AFNOR), a permis d’éviter bien des confusions et de préparer le terrain de l’évaluation dans les bibliothèques avant même que les établissements ne se l’approprient.
Comme le rappelle Christine ABBOTT , cela n’a pas été le cas en Grande Bretagne, où la multiplication d’ouvrages et d’articles théoriques ou pratiques sur le sujet a abouti à une certaine confusion et à de nombreux malentendus : l’emploi de termes identiques pour désigner des réalités ou des méthodes différentes a sensiblement compliqué le travail des praticiens désireux d’appliquer la démarche d’évaluation dans leur établissement , le fait que la terminologie Française ait été stabilisée dans le cadre d’instances internationales, l’organisation internationale de normalisation (ISO) et la fédération internationale des associations de bibliothécaires et des bibliothèques (IFLA) est un atout considérable pour les bibliothèques Algériennes. Elle permettra à terme de faciliter les comparaisons et les échanges internationaux.
Précisons également que les experts Français qui ont participé aux travaux de traduction et de normalisation sont également ceux qui ont publié les manuels de référence sur le sujet. Cette coïncidence assure un forte cohérence au corps de la littérature en langue Française sur l’évaluation des bibliothèques. Aussi, une démarche pragmatique semble s’imposer : même s’ils ne sont pas toujours satisfaisants d’un point de vue linguistique, les termes de l’évaluation sont désormais des termes « partagés » et normalisés.
Plutôt que de chercher à les traduire autrement, il semble plus judicieux de les accepter tels qu’ils sont et de se concentrer sur leur signification et leur utilisation. Ce vocabulaire présente toutefois des difficultés et n’est pas toujours explicite pour le néophyte qui n’a pas le réflexe de jongler entre les termes Français et leur traduction anglaise.
L’évaluation est trop souvent confondue avec l’évaluation individuelle des agents ou avec une forme de contrôle assortie de sanctions alors qu’il s’agit plus fondamentalement d’une démarche d’auto-connaissance et de rationalisation de la décision. Il a donc semblé utile de définir précisément ces termes et d’introduire à cette occasion les principes généraux de la démarche d’évaluation en bibliothèque.
Les sources de définition
La source de référence la plus récente pour le vocabulaire de l’évaluation bibliothéconomique est la norme ISO 11620 , publiée en 1998 et la cours de révision. Dans un article des Bulletin des Bibliothèques de France (BBF) publiéieni1999, Pierre CARBONE a introduit et présenté cette norme aux professionnels Français.
Il explique notamment que « par rapport aux manuels (anglo-saxons d’évaluation bibliothéconomique), un des avantages de la norme est l’adoption d’une terminologie propre aux indicateurs de performance des bibliothèques, qui constitue dorénavant pour cette communauté le langage commun dans ce domaine» . Nombre des citations qui suivent sont extraites de cette norme et sont complétées de commentaires et de précisions que l’on a jugé utile d’apporter.
Il s’agit notamment des recommandations internationales pour la mesure de la performance dans les bibliothèques universitaires, publiées par l’IFLA en 1996 et qui contiennent un glossaire anglais-français des termes clés. Keys to success : performance indicators for public libraries est l’un des premiers manuels publiés sur le sujet en Grande Bretagne. Sa traduction Française est présentée en annexe de l’ouvrage dirigé par Anne KUPIEK en 1996 , sous le titre les clés du succès : indicateurs de performance pour les bibliothèques publiques.
Les termes clés de l’évaluation
Les statistiques
Les statistiques sont bien connues des bibliothèques. Ce sont des relevés de données brutes qui concernent, par exemple, le nombre d’inscriptions, de prêt ou d’heures d’ouverture. La collecte de données homogènes et identiques permet de voir comment un établissement se situe par rapport à d’autre ou à une moyenne nationale. On l’utilise aussi pour savoir si l’activité a progressé ou diminué d’une année à l’autre.
Cette approche permet de mesurer rétrospectivement certaines activités quantifiables de la bibliothèque, ce qui explique que l’on parle d’un contrôle à posteriori des établissements au moyen des statistiques.
L’évaluation est en effet une démarche d’auto-connaissance permanente ou ponctuelle pratiquée par la bibliothèque afin de rendre compte de ces activités et d’en améliorer la gestion. Elle peut être interne, lorsque la bibliothèque souhaite mesurer l’évolution de ses propres activités dans le temps. Elle peut également être externe, lorsque la bibliothèque souhaite comparer son activité à d’autres et se situer dans un environnement plus large. L’évaluation peut être antérieure (évaluation ex ante, à visée prospective) ou postérieur à l’action (évaluation ex post des bilans et rapports d’activité). Elle pourra également être réalisée en même temps que l’action se déroule : on parlera alors d’évaluation concomitante.
L’utilisation de tableaux de bord correspond à ce dernier cas de figure. La démarche d’évaluation diffère de la statistique en ce qu’elle se propose de mesurer l’activité de la bibliothèque non plus comme une « valeur absolue » mais par rapport à un contexte interne et à un environnement externe déterminés. Elle s’inspire en ce sens du management stratégique et du contrôle de gestion, qui inscrivent l’activité des services dans une réalité sociale, économique et politique.
Il s’agit alors de confronter la stratégie de l’établissement à la mise en œuvre de ses actions. Autrement dit, l’évaluation doit permettre d’élaborer des outils d’aide à la décision pour le pilotage et la planification des actions de la bibliothèque par rapport à des objectifs précis et avec des moyens donnés. L’augmentation ou la baisse du nombre de prêts ou d’usagers ne pourra être judicieusement interprétée que si l’on tient compte de l’évolution des ressources humaines et budgétaires de la bibliothèque ou alors d’un changement dans ses objectifs qui auront pu évoluer de la recherche du plus grand nombre d’inscrits vers une politique sélective, tournée vers certaines catégories de publics, identifiés comme prioritaires.
Résumé
Evaluer, c’est mettre en relation trois facteurs : les objectifs, les ressources, et les résultats. Thierry GIAPPICONI et Pierre CARBONE apportent les précisions suivantes : « le terme de performance est la notion centrale de cette relation. Il réunit trois notions : celle d’efficacité du service fourni par la bibliothèque (adéquation plus ou moins grande des résultats aux objectifs), celle d’efficience dans l’utilisation des ressources employées (adéquation plus au moins grande des ressources aux résultats) et celle de pertinence des choix opérés (adéquation plus ou moins grande des ressources aux objectifs).
Evaluer une bibliothèque consiste à mesurer sa performance, c’est-à-dire à juger de sa capacité à trouver le meilleur équilibre possible entre la qualité des services rendus et l’économie des moyens employés. Pour mettre en œuvre une démarche d’évaluation, il est nécessaire de formaliser les objectifs, les moyens et les résultats et de se doter d’instruments de mesure et d’interprétation qui vont permettre de les mettre en relation. Examinons à présent les différents outils conceptuels.
|
Table des matières
Introduction
PARTIE I : L’évaluation dans Les bibliothèques
CHAPITRE 1 : Les tableaux de bord dans la démarche d’évaluation
1.1La terminologie de l’évaluation
1.2 Les sources de définition
1.3 Les termes clés de l’évaluation
1.3.1 Les statistiques
Résumé
1.3.2 Les trois niveaux d’objectifs
1.3.2.1 La mission
1.3.2.2 L’objectif général
1.3.2.3 L’objectif opérationnel
1.3.3 Les indicateurs
1.3.4 La normalisations des indicateurs
1.3.5 Choix des indicateurs
1.3.5.1 Les choix par défaut
1.3.5.2 Les choix scientifiques
1.3.6 Typologie des indicateurs
1.3.6.1 Indicateurs d’efficacité
1.3.6.2 Indicateurs de qualité
1.3.6.3 Indicateurs d’efficience
1.3.6.4 Indicateurs de pertinence
1.4 Les tableaux de bord, outils de contrôle, de pilotage et d’aide à la décision
1.4.1 La finalité externe du tableau de bord
1.4.2 La finalité interne du tableau de bord
1.4.3 Analyse diachronique
1.4.4 Analyse synchronique
1.4.5 Analyse synchronique : quels avantages ?
1.4.6 Tableau de bord ou tableaux de bord
CHAPITRE 2 : L’évaluation dans les bibliothèques : Etat de l’art
2.1 Le contexte international
2.1.1 Les origines anglo-saxonnes de l’évaluation
2.1.2 Le rôle moteur et normalisateur des organisations Internationales
2.2 Le cas Algérie
CHAPITRE 3 : Cadre de référence pour la mise en œuvre d’un tableau de bord
3.1 La dimension politique
3.2 La dimension humaine
3.3 La dimension technique
3.4La dimension économique
PARTIE II : Cadre de l’étude
Introduction
CHAPITRE 1 : La bibliothèque universitaire de Bejaia : Présentation et étude de l’existant
1.1L’université Abderrahmane MIRA.Bejaia
1.1.1 Facultés, départements et filières enseignées
1.1.1.1 Facultés des sciences et sciences de l’ingéniorat
1.1.1.2 Facultés des sciences de la nature et de la vie
1.1.1.3 Facultés de droit et des sciences économiques
1.1.1.4 Facultés des lettres et sciences humaines
1.1.2 Effectifs
1.1.3 Missions
1.1.4 Organigramme de l’université
1.2 La bibliothèque universitaire de Bejaia
1.2.1 Historiques
1.2.2 Mission de la bibliothèque
1.2.3 Analyse de l’existant
1.2.3.1 Organisation et fonctionnement
1.2.3.1.1 Service des acquisitions
1.2.3.1.2 Service traitement
1.2.3.1.3 Service recherche bibliographique
1.2.3.1.4 Service de l’orientation
1.2.3.2 Le budget
1.2.3.3 Le personnel
1.2.3.4 Locaux et conditions d’accueil
1.2.3.5 Ressources documentaires
1.2.3.6 Informatisation
1.2.3.6.1 Etat de l’informatisation
1.2.3.6.2 Parc informatique
1.2.3.7 Services rendus
1.3.4 Organigramme de la bibliothèque universitaire de Bejaia
CHAPITRE 2 : Analyse systémique et choix des indicateurs
Introduction
2.1Fondements de l’analyse systémique
2.2 Objectif de l’analyse systémique
2.3 Concepts fondamentaux de l’approche systémique
2.3.1 Système fermé et système ouvert
2.3.2 Les sous-systèmes de la bibliothèque
2.3.3 Systèmes déterminés et systèmes indéterminés
2.3.4 Performance globale de la bibliothèque
2.3.5 Les étapes de l’analyse systémique
2.3.5.1 La collecte de données
2.3.5.2 Les acteurs
2.4 Choix des indicateurs
Scénario 01
1 Approche normative
Scénario 02
1 Approche participative
2.5 La méthode Micmac
2.5.1 Buts de la méthode
2.5.2 Description de la méthode
2.5.3 Avantages de la méthode
2.5.4 Limites de la méthode
CHAPITRE 3 : Analyse et interprétation des résultats
3.1 Méthodologie
3.1.1 Liste des variables
3.2 Influences directes
3.2.1 Matrice des influences directes (MID)
3.2.2 Caractéristique de MID
3.2.3 sommes des lignes et colonnes de MID
3.2.4 Plan des influences / dépendances directes
3.2.5 Graphe des influences directes
3.3 Influences indirectes
3.3.1 Matrice des influences indirectes (MII)
3.3.2 Sommes des lignes et colonnes de MII
3.3.3 Plan des influences/ dépendances indirectes
3.3.4 Graphe des influences indirectes
3.4 Tableau de bord
3.4.1 Classement des variables selon leurs influences directes et Indirectes
3.4.2Classement des variables selon leurs dépendances directes et Indirectes
Conclusion
