Évaluation experte de la qualité de fonctionnement des systèmes d'information dans les services éducatifs. Classification et caractéristiques des méthodes expertes

V1 : La qualité comme facteur de réussite d'une entreprise dans une économie de marché

V1 : Recommandations des normes internationales ISO 9000 pour l'assurance qualité

Un expert est un spécialiste (professionnel) dont le décideur juge utile de prendre en compte les appréciations et les jugements lors de la prise de décision.

Donnons quelques explications. Naturellement, les avis d'un thérapeute débutant et d'un cardiologue de renommée mondiale ne sont pas comparables en termes de niveau d'évaluation de l'état du patient et de recommandations pour son traitement de manière équitable. situation difficile. Cependant, si le patient a besoin aide d'urgence, et qu'un spécialiste d'un haut niveau professionnel pour une raison ou une autre ne peut être invité, alors la décision sera prise par celui qui se trouve à proximité, même s'il est moins qualifié. Dans cette situation, c’est lui qui s’avère être l’expert.

Ainsi, la formation de la composition de la commission d'experts dépend :

· situation décisionnelle spécifique ;

· la capacité des organisateurs de l'examen à attirer des spécialistes hautement qualifiés pour le travail ;

· possibilités pour les spécialistes de participer aux travaux de la commission d'experts.

Il convient également de noter qu'à l'heure actuelle, il n'existe pas de méthodologie unifiée généralement acceptée pour évaluer les qualités d'un expert, de sorte que les opinions sur le niveau professionnel d'un spécialiste diffèrent souvent de manière significative. Dans la pratique réelle, le décideur soit s'efforce de se forger une opinion sur le niveau professionnel du candidat expert, soit la confie à ceux qui sont chargés d'organiser l'examen. Par conséquent, en l'absence de capacités et d'expérience dans l'organisation et la conduite des examens, il est logique de se tourner vers les services de centres d'examen indépendants, de centres d'information et d'analyse, etc., dont les tâches principales sont d'analyser la situation, d'évaluer les objets de examiner, préparer et évaluer des solutions alternatives.

Lors de l'évaluation des qualités d'un expert, il est nécessaire de prendre en compte ses connaissances professionnelles, expérience et efficacité du travail dans le cadre des commissions d'experts. Il existe de nombreuses façons d'évaluer les qualités d'un expert, chacune pouvant être utilisée avec succès dans un cas particulier. Ils sont divisés en trois groupes principaux :

· a priori;

· a postériori;

· test.

Les méthodes a priori sont appelées méthodes d'évaluation des qualités d'un expert qui n'utilisent pas d'informations sur les résultats de sa participation aux examens précédents.

Les méthodes a posteriori sont appelées méthodes d'évaluation des qualités d'un expert sur la base d'informations sur les résultats de sa participation aux examens précédents.

Les méthodes de test sont des méthodes d'évaluation des qualités d'un expert qui impliquent la réalisation d'un test spécial.

Méthodes a priori d’évaluation d’un expert. Ce groupe comprend tout d'abord les méthodes d'auto-évaluation les plus courantes, dont l'essence est que l'expert lui-même évalue ses qualités. Les méthodes suivantes peuvent être utilisées :

· estime de soi sur l'une des échelles de points (3, 5, 10 ou 100 points) ;

· auto-évaluation à l'aide d'échelles verbales-numériques qui, avec les valeurs numériques des gradations, les contiennent description qualitative;

· auto-évaluation sur une échelle verbale, dans laquelle l'expert donne une évaluation verbale de ses connaissances et de son expérience, en utilisant des gradations qualitatives d'une échelle pré-développée ;

l'estime de soi à travers méthode différentielle, dans lequel l'expert évalue ses qualités à l'aide de deux critères privés principaux : un critère caractérisant sa connaissance des principales sources d'information dans ce domaine (par exemple, périodiques spéciaux nationaux et étrangers, informations sur les brevets, informations internes, etc.) et un critère caractérisant la familiarité avec l'objet de l'examen (par exemple, connaissance des spécificités d'un secteur, d'une entreprise spécifique, familiarité avec des échantillons de produits, etc.).

Dans ce cas, l’auto-évaluation globale de l’expert est calculée selon la formule :

À k = ( À et + ß À h)/2,

Où À k - auto-évaluation complète de l'expert, À et - coefficient de conscience (en fractions d'unité), À z est le coefficient de familiarité avec le problème, ß est le coefficient de pondération.

Les questions de mesure des indicateurs et des types d'échelles seront abordées plus en détail dans le sujet suivant.

L'exactitude des méthodes d'auto-évaluation est quelque peu controversée. D'une part, personne mieux que l'expert lui-même ne représente la totalité des connaissances et de l'expérience qu'il possède. D'un autre côté, une personne commet la plus grosse erreur lorsqu'elle évalue ses propres capacités.

Un autre groupe de méthodes a priori d'évaluation des qualités d'un expert comprend les méthodes d'évaluation mutuelle, dont l'utilisation suppose que les experts s'évaluent mutuellement. La plus courante d’entre elles est la méthode de la liste d’experts. La procédure pour son utilisation est la suivante. Chaque expert dresse une liste de spécialistes qu'il estime compétents dans ce domaine. Ensuite, sur la base de ces listes, le coefficient de compétence de l'expert est calculé - le rapport entre le nombre de listes dans lesquelles un spécialiste donné est présent et nombre total listes compilées.

Les méthodes a priori d'évaluation des qualités d'un expert incluent également la méthode documentaire ou questionnaire la plus courante. Dans celui-ci, pour évaluer certaines qualités d'un spécialiste, il est proposé d'utiliser des caractéristiques objectives disposant de preuves documentaires, telles que : l'expérience professionnelle, le diplôme universitaire, le titre académique, le poste occupé, le nombre de publications, l'index des citations, etc. Il convient de garder à l’esprit que, sur la seule base de ces facteurs objectifs, il est impossible d’évaluer de manière adéquate l’opportunité et l’utilité de la participation d’un expert aux travaux d’un groupe d’experts particulier.

Méthodes d’estimation a posteriori. Ces méthodes impliquent l'utilisation des résultats de sa participation à des enquêtes précédentes pour évaluer les qualités d'un expert. Avec leur aide, dans une certaine mesure, des qualités telles que le conformisme, l'opportunisme et la compétence d'expert peuvent être identifiées. En particulier, pour évaluer le niveau de compétence d'un spécialiste, la méthode des comparaisons appariées peut être utilisée. Son essence réside dans le fait que l'expert se voit présenter séquentiellement des paires d'objets d'évaluation comparés et il sélectionne dans chaque paire l'objet le plus préférable de son point de vue. Une fois toutes les paires présentées, les analystes disposent d’informations sur les préférences comparatives de l’expert concernant les objets évalués. Dans ce cas, une situation peut survenir où, dans une comparaison directe, le premier objet est préférable au deuxième, le deuxième est préférable au troisième, mais, en même temps, le troisième objet s'avère préférable au premier. , c'est à dire. une contradiction évidente surgit. Dans la pratique réelle, de telles contradictions (bien sûr, dans des chaînes de comparaison plus longues) ne se produisent pas si rarement. Naturellement, moins les appréciations d’un expert sont contradictoires, plus sa compétence est justifiée.

La méthode a posteriori consiste également à évaluer la fiabilité des jugements de l’expert. Comme critère d'évaluation d'une telle fiabilité, le coefficient de fiabilité est utilisé - la fréquence relative des cas dans lesquels l'expert a attribué la plus grande probabilité à des événements confirmés ultérieurement. Lors de l'utilisation de cette méthode, la valeur moyenne du coefficient de fiabilité de la commission d'experts est également calculée et les coefficients individuels des experts y sont comparés.

Une autre méthode d'évaluation a posteriori est la méthode d'écart par rapport à l'estimation de groupe résultante. Cette méthode est basée sur le calcul du coefficient d'écart - Co.

Àoh = Est ce que je / D maximum,

Où À oi- coefficient d'écart des jugements du i-ème expert, Est ce que je- écart de l'évaluation individuelle du i-ème expert par rapport à l'évaluation résultante, D max - l'écart maximum possible de l'évaluation de l'expert par rapport à l'évaluation résultante.

Méthodes de test pour évaluer les qualités d'un expert. Leur essence est l'exécution par l'expert en la matière d'une tâche préalablement préparée. Ces méthodes sont assez connues, car sont largement utilisés pour déterminer l'aptitude professionnelle de spécialistes dans divers domaines d'activité. L'avantage de ces méthodes est qu'elles permettent non seulement d'établir si un expert possède un certain niveau professionnel, mais également d'identifier les compétences et l'expérience nécessaires à une participation productive aux travaux de la commission d'experts. Il ne faut toutefois pas oublier que la réalisation d'expériences de test nécessite le respect des conditions suivantes : règles importantes:

· le test doit être développé spécifiquement pour des objets spécifiques expertise;

· les vraies valeurs des paramètres estimés (réponses correctes) doivent être connues groupe analytique, effectuant le test, mais inconnus de l'expert testé ;

· une échelle devrait être élaborée pour déterminer l'exactitude des évaluations données par un expert ;

· la probabilité de deviner accidentellement la véritable estimation devrait être très faible.

Usage Méthodes d'essai nous permet d'apprécier une telle importance qualité professionnelle expert que la reproductibilité des expertises. Pour ce faire, plusieurs expériences de tests sont réalisées, proches des conditions d'examen réel. Dans ce cas, l'intervalle de temps entre eux doit être suffisant pour que le sujet ait le temps d'oublier les résultats du précédent. Ensuite, les estimations obtenues sont comparées entre elles. Des expertises plus stables (reproductibles) indiquent qu'il est plus compétence professionnelle, et sur une plus grande aptitude à participer à la commission d'experts.

La haute qualité du travail des experts participant à l'enquête a une influence décisive sur l'obtention de résultats précis et fiables.

La qualité des experts est déterminée par les groupes de propriétés suivants : compétence, intérêt pour les résultats de l'examen, efficacité et objectivité (impartialité).

Compétence d'expert doit s'appliquer à l'objet de l'examen (compétence professionnelle) et à la méthodologie d'évaluation (compétence qualimétrique).

Compétence professionnelle comprend la connaissance des étapes technologiques de la production du produit, de la valeur des indicateurs de qualité de ses différents types et des perspectives de développement du produit. exigences des consommateurs, conditions et nature de la consommation.

Compétence qualimétrique permet à l'expert de comprendre clairement l'approche d'évaluation de la qualité du produit en tant que mesure de la manière dont il répond aux besoins des consommateurs ; connaissance des méthodes d'évaluation de la qualité, notamment des méthodes expertes ; capacité à utiliser diverses échelles qualimétriques avec un grand nombre de gradations.

Intérêt les résultats de l'examen par l'expert dépendent de nombreux facteurs : le degré de charge de travail du travail principal, avec lequel l'examen est généralement combiné ; possibilités d'utilisation des résultats obtenus ; fins d'examen ; la nature des conclusions qui peuvent être tirées sur la base des résultats de l'examen ; caractéristiques individuelles expert.

Efficacité l'expert fait preuve de sang-froid, de mobilité et d'élasticité d'attention, vous permettant de passer rapidement de l'évaluation d'un indicateur de qualité à l'évaluation d'un autre ; contact, c'est-à-dire capacité à travailler avec les gens pour résoudre des problèmes situation de conflit; motivation des évaluations réalisées.

Objectivité (impartialité)-- la capacité de prendre en compte uniquement les informations qui déterminent la satisfaction des besoins d'un produit donné. Le biais expert consiste à surestimer ou sous-estimer l'objet d'examen pour des raisons non liées à la qualité, par exemple en raison de l'incapacité de résister à l'opinion de la majorité des autres experts en raison de l'incertitude quant à sa propre justesse (manifestation de conformisme).

Les méthodes d'évaluation de la qualité des experts sont divisées en cinq groupes :

· heuristique (subjectif);

· statistique ;

· test;

· documentaire;

· combiné .

Chacun de ces groupes est divisé en types (estimations privées) et méthodes pour les obtenir.

Évaluations heuristiques (subjectives) – évaluations attribuées par une personne et basées sur l'hypothèse du reflet correct de la qualité de l'expert à travers l'évaluation des autres ou l'auto-évaluation.

Distinguer les types suivantsévaluations heuristiques :

· amour propre;

· évaluation mutuelle ;

· évaluation du raisonnement et de la familiarité avec l'objet de l'examen ;

· expertise par le groupe de travail.

Amour propre - type et méthode d'évaluation heuristique des compétences par l'expert lui-même. Il a été établi que plus la valeur moyenne de l'estime de soi des membres du groupe est élevée, plus la fiabilité de l'expertise moyenne est élevée. Dans le même temps, il convient de garder à l'esprit que l'estime de soi se caractérise par une subjectivité importante, ce qui entraîne certains inconvénients. L'estime de soi dépend caractéristiques psychologiques experts (présence d'une estime de soi élevée ou faible, parfois déraisonnable), le degré d'autosatisfaction, la compréhension de l'échelle de notation. Cela explique l'écart entre les résultats de l'auto-évaluation et de l'évaluation mutuelle.

Pour réduire la subjectivité, l'auto-évaluation est réalisée de manière différenciée, ce qui augmente la précision des résultats. Pour cela, l'indicateur d'estime de soi est défini en fonction de deux coefficients : la familiarité et l'argumentation. Pour l’expertise d’une marchandise, il est recommandé de déterminer l’auto-évaluation de l’expert en tenant compte de sa connaissance et de sa familiarité avec les produits évalués en remplissant le « Questionnaire d’auto-évaluation ». L'expert note la régularité de la lecture des sources d'informations répertoriées dans le questionnaire et le degré de connaissance des produits évalués.

Amour propre ( K ca m j) est calculé à l'aide de la formule

K ca m j= ΣM je K je ,

où M je– le poids des indicateurs de sensibilisation et de familiarité ; K je– une évaluation en fonction du degré de connaissance et de familiarité.

Puisque Σ M je= 1,00 et 0 ≤ K je≤ 10, alors 0 ≤ K ca m j ≤ 10.

Compte tenu des spécificités des produits évalués, le poids des indicateurs individuels (M je) peut être ajusté par un groupe d’experts.

Évaluation mutuelle- type et méthode d'évaluation heuristique, définie comme la moyenne des évaluations attribuées par d'autres experts. Cette évaluation vise à réduire la subjectivité de l’évaluation de la compétence de chaque expert. Il a été établi qu’il existe un lien étroit entre la compétence de l’expert et l’évaluation moyenne qu’il reçoit de ses collègues. L'essence de ce type d'évaluation est que chaque expert donne une évaluation à tous les autres experts, puis le résultat moyen est calculé.

En fonction du nombre d'experts composant le groupe, deux procédures différentes sont appliquées :

· lorsque le nombre d'experts dans un groupe est inférieur à 15 personnes, chaque expert évalue tous les autres ;

· si le nombre d'experts est de 15 personnes ou plus, un questionnaire spécial est rempli, dans lequel les experts sont répartis en trois groupes selon leurs qualifications – qualifications supérieures à la moyenne, moyennes et inférieures à la moyenne, ainsi que par classement au sein des sous-groupes (6 chacun – 8 personnes chacun). Ensuite, les experts de chaque sous-groupe sont classés. Rang 1 – l'expert le plus qualifié, 2 – suivant en qualification, etc. Chaque expert évalué se voit attribuer une note numérique de 10 points (le plus qualifié) à 0 (totalement non qualifié) avec une précision de 0,5 point.

Les inconvénients de l’évaluation mutuelle sont les suivants :

· les experts peuvent ne pas bien se connaître ;

· les résultats de l'évaluation peuvent être influencés par des préférences ou des aversions mutuelles ;

· les experts, en règle générale, ont tendance à éviter les évaluations ultra élevées et ultra basses ;

· ambiguïté dans la perception du concept de « qualité experte ».

· appliquer l'évaluation par les pairs uniquement dans les groupes dans lesquels la majorité des experts se connaissent bien. Si certains des experts évalués ne sont pas familiers, il est recommandé de mettre un tiret dans la colonne correspondante ;

· Mener des enquêtes anonymes ;

· expliquer que les résultats du questionnaire seront utilisés uniquement pour ajuster les notes des produits ;

· familiariser les experts avec le schéma structurel des propriétés et leurs évaluations partielles.

Évaluation du raisonnement et de la familiarité avec l'objet de l'examen - type et méthode d'évaluation heuristique du degré de spécialisation d'un expert et des facteurs influençant sa compétence. L'évaluation heuristique des compétences, basée sur le degré de spécialisation et de familiarité, a haute efficacité et la fiabilité, sous réserve de l'élaboration minutieuse de méthodes d'évaluation quantitative de chacun de ces facteurs sous la forme de questionnaires d'évaluation. Dans ce cas, seuls sont évalués les facteurs qui ne peuvent être caractérisés que subjectivement sous forme d'auto-évaluation ; l'expert évalue quantitativement le degré de sa spécialisation en fonction cette espèce produits et la forme de connaissance avec ceux-ci. Puis, à l'aide d'un questionnaire spécial (semblable à un questionnaire d'auto-évaluation), il détermine le coefficient d'argumentation de ses connaissances et évalue son degré de familiarité avec le problème étudié. Le coefficient de compétence est calculé comme la moyenne arithmétique des coefficients d'argumentation et de familiarité.

Expertise par le groupe de travail – un type et une méthode d’évaluation heuristique destinés à caractériser quantitativement l’intérêt d’un expert pour l’expertise et son attention lors de l’enquête. L'évaluation est donnée par des analystes spécialisés menant une enquête auprès d'experts. Parallèlement, ils évaluent l’attitude des experts à l’égard de l’examen en cours et leur activité dans la discussion des évaluations. Il est conseillé d'évaluer le groupe de travail sur une échelle de 10 points.

Estimations statistiques – évaluations obtenues à la suite du traitement des jugements d'experts sur l'objet de l'évaluation.

Ces estimations visent à réduire, dans la mesure du possible, les erreurs résultant des expertises. Leur nécessité est due au fait que, contrairement aux mesures utilisant des dispositifs techniques basées sur la comparaison de grandeurs inconnues avec des grandeurs connues, avec les méthodes expertes, il n'existe souvent pas de grandeur connue (ni d'échantillon, ni d'étalon d'un produit) dont la valeur soit prise en compte. comme réel, c'est-à-dire le maximum proche du vrai.

L'exactitude du résultat peut être influencée par l'organisation et la méthodologie de l'évaluation ; la qualité de la construction d'un schéma structurel d'indicateurs de qualité, le nombre d'indicateurs de qualité, les modalités de détermination des appréciations, la nature des relations entre experts, etc.

Ainsi, l'exactitude de l'évaluation par les experts est influencée par de nombreux facteurs objectifs (selon la méthodologie d'évaluation) et subjectifs (selon l'expert), ce qui entraîne des erreurs d'évaluation qui comportent des composantes systématiques et aléatoires.

Erreur systématique - une partie constamment répétée de l'erreur. La principale raison de son apparition est une information insuffisante ou incorrecte de la part des experts. Elle peut être réduite en familiarisant l'expert avec les informations nécessaires avant de commencer l'examen ou en conduisant des instructions, ainsi qu'une discussion, au cours de laquelle l'expert reçoit Informations Complémentaires d'analystes spécialisés ou d'autres experts. De plus, l'erreur systématique de l'expert étant aléatoire pour un groupe d'experts, la moyenne des appréciations du groupe permet d'augmenter la précision de l'évaluation de la qualité. L'erreur systématique peut être évaluée par le degré d'écart par rapport à l'opinion moyenne du groupe d'experts.

Erreur aléatoire dépend des caractéristiques psychologiques et physiologiques de l'expert (sang-froid, confiance en sa justesse, attention, autres qualités personnelles) et diminue avec les répétitions répétées des évaluations. Sa valeur peut être déterminée par la reproductibilité des résultats.

On distingue les types d'estimations statistiques suivants :

· évaluation basée sur l'écart par rapport à l'opinion moyenne du groupe d'experts ;

· évaluation de l’objectivité de l’expert.

Note basée sur l'écart par rapport à l'opinion moyenne du groupe d'experts– évaluation basée sur l’hypothèse que la valeur réelle de l’expertise collective est note moyenne groupe d'experts. Par conséquent, plus l'écart entre une expertise individuelle et celle du groupe est faible, plus la qualité de l'expert qui a donné cette évaluation est reconnue.

Les expertises individuelles peuvent être de deux types :

· classement par l'expert des valeurs estimées (par ordre décroissant ou croissant) ;

· détermination par un expert des valeurs numériques des grandeurs évaluées (par exemple, lors de la détermination des coefficients de pondération des indicateurs de qualité, les experts attribuent certaines valeurs numériques à chaque coefficient).

L'évaluation de l'écart par rapport à l'opinion moyenne du groupe d'experts peut être exprimée à travers un ensemble d'écarts absolus (D і) , calculé comme la différence entre le score moyen du groupe ( X s.d) et évaluation individuelle ( X je):

D je = X c.g – Xje. .

Plus D i est grand, plus l’écart entre l’opinion de l’expert individuel et l’opinion moyenne du groupe d’experts est élevé.

Évaluation de l’objectivité (impartialité) de l’expert –évaluation du respect par l’expert du principe d’objectivité, de sa capacité à évaluer de manière impartiale des échantillons spécifiques de marchandises. Celui-ci est très caractéristique importante la qualité de l'expert affecte de manière significative l'exactitude des résultats de l'expertise de groupe. Les méthodes statistiques permettant d'évaluer directement l'objectivité des experts n'ont pas été développées, elles se contentent donc en pratique d'une évaluation indirecte basée sur l'écart par rapport à l'opinion moyenne des experts.

Les résultats des tests – évaluations en testant les caractéristiques psychologiques et physiologiques d’experts. Ces évaluations visent à évaluer l'objectivité, la compétence qualimétrique et professionnelle de l'expert. L'avantage de ces évaluations est la possibilité d'évaluer les qualités personnelles d'un expert, pour lesquelles d'autres méthodes et types d'évaluations sont inacceptables. Leur inconvénient est que les résultats obtenus lors des tests ne peuvent être comparés aux données obtenues par une méthode objective.

Lors de la réalisation d'évaluations de tests, les exigences suivantes s'appliquent aux tests :

· compréhension par l'expert en la matière de la formulation du problème de test et des conditions que sa solution doit remplir ;

· la probabilité de deviner au hasard la solution du problème doit être proche de zéro ;

· le problème de test doit avoir une solution exacte ;

· justification de la proximité de la tâche de test et des problèmes réels qu'un expert doit résoudre lors de l'évaluation de la qualité du produit.

Les types d’évaluations de tests sont :

· évaluation de la reproductibilité des résultats ;

· compétence qualimétrique de l'expert ;

· objectivité dans l'ajustement de vos appréciations.

Évaluation de la reproductibilité des résultats –évaluation du degré de rigueur des expertises individuelles réalisées à certains intervalles. Il est généralement utilisé dans les cas où la qualité des experts est évaluée au cours de plusieurs tours et où les évaluations du même auteur lors de différents tours sont comparées. Le plus souvent, l'évaluation de la reproductibilité des résultats est utilisée dans l'analyse organoleptique des produits alimentaires.

Il convient de noter que l'intervalle de temps entre les tours doit être court afin d'exclure l'influence d'éventuels nouvelle information, modifiant son jugement, mais en même temps suffisant pour que l'expert oublie les données d'évaluation du tour précédent.

Si un classement des indicateurs de qualité est effectué, alors l'évaluation de la reproductibilité des résultats est calculée à l'aide de la formule

Où – j l'expert ; Rj– classer les coefficients de corrélation pour j-ème expert, déterminé par la formule

Où d ij– la différence entre les rangs attribués je- indicateur de qualité mu j- expert au premier et au deuxième tour de l'enquête ; n– nombre d'objets de classement.

Si les experts calculent les valeurs numériques des coefficients de pondération, alors l'évaluation de la reproductibilité des résultats est calculée à l'aide de la formule

Où – taux de reproductibilité j l'expert ; ρj– éloignement de l’opinion moyenne du groupe pour j-ème expert, calculé par la formule

où M je* et M je ** – valeurs je-ième coefficient de pondération attribué j- expert respectivement au premier et au deuxième tour.

Le coefficient de reproductibilité des résultats d'un expert peut varier de 0 à 10. Il est recommandé que les experts ayant une reproductibilité des résultats de 6 ou plus soient admis à l'examen de la qualité des produits.

Évaluation de la compétence qualimétrique de l’expert – grade connaissance théorique méthodes d'évaluation de la qualité et capacité de les appliquer. Une évaluation de la formation théorique d'un expert peut être réalisée par un contrôle des connaissances oral ou écrit à l'aide d'épreuves dans un domaine de connaissances précis. La situation est un peu plus compliquée avec les tests de compétences, qui sont divisés en trois types :

· capacité à utiliser différents typeséchelles de notation;

· capacité à déterminer des probabilités subjectives ;

· capacité à distinguer un nombre suffisant de gradations du bien évalué.

Capacité à utiliser différents types d’échelles de notation. Une échelle est une série ordonnée de marques correspondant à la relation entre les valeurs successives des grandeurs mesurées. En qualimétrie, une échelle est un moyen de comparer et de déterminer de manière adéquate les valeurs numériques des propriétés individuelles et des qualités de divers objets. Les types d'échelles qualimétriques suivants sont utilisés dans la pratique : une échelle de noms, une échelle d'ordre, une échelle d'intervalle, une échelle de ratio et une échelle de valeurs absolues.

Échelle de nom utilisé dans les cas où plusieurs tailles inconnues doivent être comparées à une seule et déterminer lesquelles d'entre elles sont égales à la taille choisie comme base de comparaison et lesquelles ne le sont pas. Selon l'échelle des noms, les tailles sont classées selon l'équivalence, l'identité, l'égalité. Cette mesure est la plus simple, mais la moins informative. Dans ce cas, il n'est pas déterminé laquelle des tailles inégales est la plus grande ou taille plus petite, pris comme base, c'est-à-dire l'ordre des tailles croissantes ou décroissantes n'est pas établi. La mesure consiste uniquement à déterminer la similitude (égalité) ou la différence (inégalité) d'une taille particulière à partir d'une valeur prédéterminée. Par conséquent, les relations déterminantes entre les dimensions mesurées sont : égales ou inégales, c'est-à-dire en symboles = ou ≠.

L'expression mathématique de l'essence des mesures sur une échelle de noms peut s'écrire comme suit :

Р i = Р j ou Р i ≠ Р j ,

où P je– la taille avec laquelle ils sont comparés (taille de base) ; R. j – jème taille des tailles comparées ( j= 1,2,3, … , n); n– nombre de tailles comparées.

Lors de la comparaison et de la mesure des tailles selon une échelle de noms, par exemple, le contrôle et l'évaluation de la qualité de quelque chose sont effectués selon un principe alternatif : réussite - échec ; approprié - ne convient pas; correspond - ne correspond pas, etc.

Échelle de commande– il s'agit d'une série séquentielle de valeurs qui donne une idée systématique des relations les plus simples entre les valeurs de tailles comparables de propriétés, caractéristiques ou qualités des objets évalués dans leur ensemble.

En comparant toutes les tailles mesurées par paires, il est déterminé quelle taille est plus grande ou plus petite que l'autre, laquelle est meilleure ou pire que l'autre. S'il existe des tailles identiques, ce rapport est également déterminé. Ensuite, les rapports de taille établis sont classés par ordre croissant et/ou décroissant (décroissant) de leurs valeurs. Les valeurs elles-mêmes restent incertaines. La série de valeurs obtenues à la suite du classement est une échelle d'ordre de séquence croissante ou décroissante.

À l'aide d'échelles de commande, les valeurs de taille peuvent être classées (évaluées) non seulement selon le critère « pareil ou pas », mais aussi par le rapport de ce qui est « plus ou moins » qu'un autre ou « ce qui est meilleur et ce qui est pire » qu’un autre.

L’expression mathématique des relations entre des tailles comparables deux à deux est la suivante :

R. je=P j ou P je≠P j ou P je>P j ou P je < Rj.

Suite à la comparaison des dimensions P je et P j déterminer quelle taille est plus grande ou plus petite qu'une autre, ainsi que quelles tailles ont mêmes valeurs, c'est à dire. sur l'échelle de commande, les relations suivantes sont déterminées : égal à (=), non égal à (≠), supérieur à (>), inférieur à (<).

L'inconvénient des mesures utilisant des échelles d'ordre est que les résultats obtenus sous forme de séries classées sont les moins informatifs. En particulier, avec une telle mesure, il n'y a aucun moyen de déterminer dans quelle mesure une taille est plus grande ou plus petite qu'une autre, meilleure ou pire qu'une autre. Cependant, le principal avantage des mesures utilisant des échelles d'ordre est qu'avec leur aide, des quantités non mesurées instrumentalement peuvent toujours être évaluées (mesurées) quantitativement. Celles mesurées sur des échelles de commande incluent des propriétés d'objets telles que le goût, l'odeur, l'attractivité, l'esthétique, le confort, etc. Sur l'échelle de commande, des évaluations générales d'experts sur la qualité de plusieurs objets comparés sont souvent réalisées.

Échelle d'intervalle utilisé dans les cas où il n'est pas possible de mesurer les tailles des quantités observées elles-mêmes, mais il est possible (ou il y a un besoin) de mesurer uniquement les différences (différences) entre les tailles connaissables par comparaison.

Les différences entre les tailles comparées sont enregistrées sur l'échelle de mesure des intervalles. Cette forme d'affichage des grandeurs mesurées est plus avancée, puisque sur l'échelle d'intervalle il existe des unités de mesure conditionnelles mais bien définies, ce qui permet de caractériser quantitativement (numériquement) le rapport des tailles étudiées.

La notation mathématique permettant de comparer deux tailles homogènes entre elles en fonction de leur différence a la forme :

ΔР je,j=P je-R j.

À l'aide de l'échelle d'intervalle, les rapports de taille suivants sont déterminés : égal à (=), non égal à (≠), supérieur à (>), inférieur à (<), сумма (+), разница (– ).

Un exemple classique de mesures à échelle d’intervalle est la mesure de la température sur l’échelle Celsius. À l’aide d’une échelle d’intervalles, il est impossible de déterminer combien de fois une taille est plus grande ou plus petite qu’une autre.

Échelle de relation– il s’agit d’une échelle de mesure sur laquelle la valeur numérique d’une quantité est comptée (déterminée) qi comme rapport mathématique de la taille mesurée P jeà une autre taille connue, prise comme unité de mesure [P].

Toute mesure sur une échelle de rapport implique de comparer une taille inconnue avec une taille connue et d'exprimer la première à la seconde dans un rapport multiple ou fractionnaire.

La notation mathématique d'une mesure sur une échelle de ratio a la forme :

Où je = 1, 2, 3, … , n– c'est le numéro de la taille mesurée.

L'échelle de rapport est une échelle d'intervalle dans laquelle l'élément zéro est défini - l'origine, ainsi que la taille (échelle) de l'unité de mesure [P].

Selon l'échelle de rapport, les valeurs des tailles mesurées sont déterminées comme suit : égale (=), non égale (≠), supérieure (>), inférieure (<), сумма (+), разница (– ), multiplication (×), division (:). Par conséquent, de nombreuses opérations logiques et toutes opérations arithmétiques peuvent être effectuées avec les valeurs relatives des tailles mesurées.

L'échelle de rapport est la plus adaptée pour mesurer la plupart des indicateurs de qualité, en particulier pour des caractéristiques numériques telles que les dimensions géométriques des objets, leur densité, leur résistance, leur tension et autres.

Échelle absolue utilisé dans les cas où une quantité est mesurée directement. Par exemple, le nombre de défauts d’un produit est directement calculé. Nombre d'unités de produits de production, etc. Dans de telles mesures, les valeurs quantitatives absolues de ce qui est mesuré sont marquées sur l'échelle de mesure. Une telle échelle de valeurs absolues a les mêmes propriétés qu'une échelle de ratios, à la seule différence que les valeurs indiquées sur cette échelle ont des valeurs absolues plutôt que relatives.

Les résultats des mesures sur une échelle de valeurs absolues ont la plus grande fiabilité, contenu informatif et sensibilité aux mesures inexactes.

Les échelles d'intervalles, de rapports et de valeurs absolues sont appelées métrique, puisque des mesures sont utilisées dans leur construction, c'est-à-dire dimensions acceptées comme unités de mesure.

Les caractéristiques, paramètres ou caractéristiques des propriétés des objets, mesurés sur une échelle de dénomination ou sur une échelle de commande, ne sont pas quantitatifs, mais qualité, c'est à dire. incertains quant à leur véritable ampleur et à l’ampleur des différences entre eux. La taille déterminée par l'une des échelles métriques est une valeur quantitative, et ces échelles elles-mêmes sont quantitatif.

Les échelles qualimétriques, leurs relations déterminantes, les types de caractéristiques de qualité qu'elles mesurent, ainsi que quelques exemples de ce qui est mesuré sont donnés dans le tableau. 4.1.

Chacune des échelles qualimétriques a sa propre signification et son propre domaine d'application, et elles ne sont donc le plus souvent pas interchangeables lors de la résolution d'un problème expert particulier. La capacité de déterminer des probabilités subjectives est la capacité d'un expert à évaluer la probabilité que certains événements se produisent. Les experts qui ne disposent pas de cette capacité ne devraient pas être impliqués dans des expertises liées à la prévision.

Capacité à déterminer des probabilités subjectives lors de la réalisation de certains types d’évaluations. Par exemple, lors de la détermination des coefficients de pondération de certains événements, un expert doit parfois utiliser la notion de subjectivité de la probabilité de leur survenance. Ils ont souvent recours à des tests spéciaux qui peuvent être utilisés pour évaluer la capacité d'un candidat expert à déterminer avec précision les probabilités subjectives.

La capacité de distinguer un nombre suffisant de gradations du bien évalué– la capacité de l’expert à percevoir des différences dans l’intensité de manifestation de chaque propriété. Cette capacité est largement due à la sensibilité de l’expert aux changements les plus insignifiants dans les propriétés et les indicateurs des objets d’examen. Par exemple, lors d'analyses organoleptiques, les testeurs sont testés sur leur capacité à identifier des différences de goûts, d'odeurs, de nuances de couleurs, etc. La précision des expertises individuelles et collectives dépend également de la capacité de l'expert à distinguer les gradations de la propriété évaluée. , c'est pourquoi les tests visant à identifier cette capacité devraient aider à sélectionner pour le groupe d'experts des spécialistes de haute qualité.

Tableau 4.1. Types d'échelles qualimétriques

1. Méthode experte d'évaluation de la qualité des marchandises : définition, caractéristiques de l'examen des produits alimentaires et non alimentaires.

Méthode experte
La méthode experte de détermination des indicateurs de qualité repose sur la prise en compte des avis d'experts spécialisés. Un expert est un spécialiste compétent pour résoudre un problème précis. Cette méthode est utilisée dans les cas où les indicateurs de qualité ne peuvent pas être déterminés par d'autres méthodes en raison d'informations insuffisantes, de la nécessité de développer des moyens techniques particuliers, etc.
La méthode experte est une combinaison de plusieurs méthodes différentes qui représentent ses modifications. Des variétés bien connues de la méthode experte sont utilisées lorsque la décision est basée sur la décision collective de personnes compétentes (experts). Les qualifications d'un expert ne sont pas seulement déterminées par la connaissance du sujet de discussion. Les capacités spécifiques de l'expert sont prises en compte. Par exemple, dans l’industrie alimentaire, lors de l’évaluation de la qualité des produits alimentaires, la capacité de l’expert à percevoir le goût, l’odorat ainsi que son état de santé sont pris en compte. Les experts évaluant les indicateurs de qualité esthétique et ergonomique doivent avoir des connaissances dans le domaine de la conception artistique.
Lors de l'utilisation de la méthode experte pour évaluer la qualité, un groupe de travail et d'experts est formé. Le groupe de travail organise la procédure d'audition des experts, collecte les questionnaires, traite et analyse les expertises.
Le groupe d'experts est constitué de spécialistes hautement qualifiés dans le domaine de la création et de l'utilisation des produits évalués : experts en matières premières, commerçants, concepteurs, constructeurs, technologues, etc. Il est souhaitable que le groupe d'experts soit constitué non pas pour un seul examen, mais en tant qu'organe fonctionnant en permanence et doté d'une composition d'experts assez stable.

2. Respect de l'environnement et sécurité des marchandises : définition, signification, types de sécurité qui caractérisent le respect de l'environnement et la sécurité.

Propriétés environnementales- la capacité du produit à ne pas avoir d'impact néfaste sur l'environnement lors de son fonctionnement. De plus en plus, la pollution de l’environnement met l’existence de l’humanité au bord du désastre. De ce fait, le degré d'importance des propriétés environnementales augmente fortement (par exemple, pour la farine, l'amidon, la lessive, les véhicules et les emballages sont fiables). Tous les biens polluent l’environnement à des degrés divers aux différentes étapes de leur distribution. Ainsi, la plus grande pollution environnementale se produit lors de la production de biens ou de matières premières, de matériaux ou de produits semi-finis. Les indicateurs des propriétés environnementales des biens sont divers types de pollution qui aggravent la sécurité de l'environnement. La loi fédérale « sur la réglementation technique » combine la sécurité de la population et de l'environnement avec la sécurité de la vie, de la santé des consommateurs, des animaux et des plantes, ainsi que de la propriété des personnes morales et physiques. Sécurité- une propriété très importante et largement interprétée de nombreux objets : biens, processus, services, ainsi que l'environnement. Par conséquent, à l’art. 2 de la loi fédérale « sur la réglementation technique » donne une définition générale : La sécurité est un état dans lequel le risque de dommage ou de dommage est limité à un niveau acceptable. C'est l'absence de risque pour la vie, la santé, pendant le fonctionnement des marchandises. .» La sécurité des produits est une exigence obligatoire et doit être réglementée par des réglementations techniques. Tous les produits de consommation doivent avoir cette qualité.. Contrairement aux autres propriétés de consommation, la détérioration ou la perte entraîne une perte de finalité fonctionnelle ou sociale ; le dépassement du niveau admissible des indicateurs de sécurité transfère le produit dans la catégorie dangereuse. Conformément à la loi fédérale « sur la réglementation technique », on distingue : types de sécurité : 1) sécurité chimique - aucun risque pouvant être causé par des substances toxiques. (Les éléments toxiques - sels de métaux lourds, additifs alimentaires, colorants d'emballage, arsenic, mercure, cuivre, fer sont interdits) ; 2) sécurité rationnelle - absence de dommages pouvant être causés par des éléments radioactifs (matériaux de construction : code, ciment) ; 3) sécurité mécanique - absence de dommages pouvant être causés par des impacts, des frottements, des perforations (principalement pour les produits non alimentaires - vêtements, chaussures) ; 4) sécurité électrique, magnétique, e/magnétique - absence de risque pouvant être provoqué par l'exposition à des champs électriques, magnétiques, e/magnétiques lors du fonctionnement de biens techniques complexes (biens électriques, par exemple fours) ; 5) sécurité thermique (augmentation de la température) - les appareils de chauffage doivent en être dotés ; 6) sécurité sanitaire et hygiénique (biodommages) : a) les maladies sont causées par des micro-organismes ; b) insectes, rongeurs - dommages zoologiques ; 7) sécurité incendie - l'absence de risque inacceptable pour la vie et la santé pendant le stockage et l'exploitation des marchandises à la suite d'un incendie ou d'une combustion spontanée.

3. En utilisant l'exemple d'acceptation de haute qualité de tout groupe de marchandises dans une entreprise commerciale spécifique (magasin, base), montrez ce qui suit :

Disponibilité d'un certificat de conformité de sécurité et de qualité pour le produit étudié ;

La violation des facteurs de qualité (matières premières, processus technologiques, conception, emballage, étiquetage, stockage) a entraîné le rejet du produit ;

Selon quelle ND (désignation complète et nom de la norme ou de la spécification) l'acceptation de qualité a été effectuée et quelles exigences spécifiques ont été violées (il est nécessaire de fournir le libellé du paragraphe correspondant de la ND où ces exigences sont reflétées) ;

Indiquer les numéros d'acceptation et de rejet du produit à l'étude.

L'acceptation d'un lot de produits textiles (couvertures en laine) a été effectuée dans le magasin « Produits manufacturés » de l'entrepreneur individuel G.A. Belova. Selon la législation russe, la vente de la plupart des types de produits aux consommateurs est impossible sans un document confirmant leur conformité aux exigences de sécurité. Ainsi, la certification pour un certain nombre de produits est une condition obligatoire pour leur introduction sur le marché en vue d'une vente ultérieure. Les couvertures font partie des produits soumis à une certification obligatoire, car leur qualité peut affecter la sécurité des personnes. Un certificat de conformité est un document confirmant la conformité du produit aux exigences de sécurité et de qualité établies pour ces produits dans les règlements techniques, les codes de bonnes pratiques, les normes en vigueur et d'autres documents. Les couvertures avaient une conclusion sanitaire et épidémiologique et un certificat de conformité au système de certification GOST R. Acceptation des marchandises a été réalisée conformément aux produits textiles GOST 20566-75 « Tissus et articles à la pièce ». Règles d'acceptation et méthodes d'échantillonnage" pour la conformité de la qualité des couvertures aux exigences de GOST 9382-78 "Couvertures en pure laine et demi-laine. Exigences techniques générales."Selon le paragraphe 3 de GOST GOST 20566-75, 100 % des produits sont soumis à un contrôle de qualité des produits à la pièce en termes d'apparence, de conformité de l'emballage et de marquage aux exigences de NTD. Lors d'une inspection externe d'un lot des couvertures composées de 20 pièces, une couverture avec des bords bruts a été trouvée - les bords de la couverture ne sont pas garnis de ruban adhésif ni recouverts. Ainsi, l'exigence du paragraphe 1.11 de GOST 9382-78 «Couvertures en pure laine et demi-laine» était violé. Exigences techniques générales», selon lesquelles les bords coupés des couvertures doivent être recouverts de ruban adhésif ou bien surfilés sur le bord sur des machines à surfiler spéciales avec des fils de coton ou des fils en fibres chimiques. Cet écart est dû à une violation du processus technologique de fabrication du blanchet - les opérations de traitement des bords n'ont pas été effectuées.

Cours 7. Caractéristiques de la technologie pour l'évaluation experte de la qualité.

L'essence des méthodes expertes et l'organisation du travail sur l'utilisation

en gestion de la qualité

En tant que méthode scientifique, la méthode experte a été développée relativement récemment et s'appelait « Delphi ». Par la suite, d’autres méthodes similaires ont été développées, basées sur des expertises. Au début, les méthodes expertes étaient principalement utilisées pour résoudre des problèmes liés à la prévision dans le domaine de la science et de la technologie, puis ont commencé à être utilisées dans d'autres domaines, notamment la gestion.

L'essence des méthodes expertes consiste à faire la moyenne des avis (jugements) d'experts spécialisés sur les questions examinées obtenus de diverses manières. Score moyen (À) déterminé par la formule

Où n- nombre d'experts,

K je - évaluation donnée je l'expert.

Les méthodes de classification expertes les plus courantes basées sur l'évaluation des préférences sont méthode de classement, méthode d'évaluation directe et méthode de comparaison. Ce dernier comprend deux variétés - comparaison par paire et comparaison séquentielle.

À types de méthodes expertes avec un certain degré de convention, nous pouvons inclure les aspects organoleptiques et sociologiques. Méthode organoleptique basé sur l'utilisation des sens (goût, ouïe, vision, odorat, tactilité) de l'expert. Il est utilisé pour évaluer, par exemple, les produits de l’industrie alimentaire. Méthode sociologique est basé sur une enquête, une collecte et une analyse des opinions des répondants (par exemple, des consommateurs réels ou potentiels). Une telle enquête et recueil d'avis s'effectue par écrit (à l'aide de questionnaires) ou oralement (lors de conférences, de ventes aux enchères, d'expositions, etc.). Lors de son utilisation, des méthodes d'enquête scientifiquement fondées et des principes mathématiques de collecte et de traitement des informations doivent être utilisés. Le point commun des méthodes expertes réside dans l’enchaînement des procédures nécessaires à leur utilisation. Il s'agit notamment d'organiser l'expertise, de recueillir les avis d'experts et de traiter les résultats obtenus.

La réduction de la subjectivité des résultats de l'utilisation des méthodes expertes dépend largement du respect des règles d'organisation, de préparation et de conduite des travaux d'expertise. Cela dépend notamment de l'organisation de l'expertise, de la désignation d'une personne chargée d'organiser et de conduire les travaux d'expertise, ainsi que de la constitution de commissions d'experts.

D Pour la direction générale des travaux d'expertise, un président de la commission d'experts est désigné. La commission se compose de deux groupes : un groupe de travail et un groupe d'experts (Fig. 1).

Le chef du groupe de travail est subordonné au personnel technique qui assure l'aspect technique de la préparation du matériel pour le travail des experts, du traitement des résultats obtenus, etc., ainsi que des spécialistes des problèmes à résoudre.

La constitution d'un groupe d'experts est réalisée par le chef du groupe de travail, qui pose la problématique et détermine le domaine d'activité du groupe ; dresse une liste préliminaire d'experts spécialistes ; effectue une analyse de la composition qualitative de la liste préliminaire d'experts et affine la liste ; obtient le consentement de l’expert pour participer aux travaux ; établit la liste définitive du groupe d'experts.

Le nombre d'experts dans le groupe dépend de nombreux facteurs et conditions, notamment de l'importance du problème à résoudre, des opportunités disponibles, etc. La sélection des spécialistes s'effectue sur la base d'une analyse des qualités de chaque candidat possible. Dans ce cas, diverses méthodes sont utilisées : évaluation des candidats basée sur l'analyse statistique des résultats des performances passées en matière de qualité ; évaluation collective du candidat en tant que spécialiste dans ce domaine ; auto-évaluation du candidat expert ; détermination analytique de la compétence du candidat.

Plusieurs méthodes sont souvent utilisées simultanément, par exemple l'auto-évaluation et l'évaluation collective des qualités de l'expert proposé. Cette approche permet de sélectionner raisonnablement des experts possédant les qualités nécessaires. Il faut cependant reconnaître que la méthode d'évaluation des performances passées semble plus objective que les méthodes d'auto-évaluation et d'évaluation collective. Dans tous les cas, les candidats experts doivent posséder les qualités suivantes : compétence professionnelle ; créativité (la capacité de résoudre des problèmes créatifs) ; l'intuition scientifique ; intérêt pour les résultats objectifs des travaux d'experts; efficacité (discipline, capacité à passer d'un type d'activité à un autre, communication, indépendance de jugement, motivation des actions) ; objectivité.

Réaliser une collecte d'expertises implique la détermination préalable : du lieu et de l'heure ; formulaires et méthodes; le nombre de cycles de collecte d'avis, la composition et le contenu de la documentation, la procédure de saisie des avis d'experts dans les documents. Il est important de choisir le formulaire de collecte d'avis d'experts.

Parmi toutes les formes connues de recueil d'avis, on peut citer les formes individuelles, collectives et mixtes. Chacune de ces formes présente des variétés : questionnement, entretien, discussion, brainstorming, réunion, business game. Dans beaucoup d’entre eux, ils sont utilisés ensemble, ce qui donne plus d’effet et d’objectivité. Cette approche de collecte d'avis d'experts, lorsqu'une forme mixte est utilisée, est utilisée dans les cas où le problème n'est pas clair, où les opinions individuelles diffèrent ou où les experts ne sont pas d'accord au cours d'une discussion collective.

Dans la pratique, les questionnaires sont plus souvent utilisés, ce qui permet de recueillir des avis d'experts avec moins de travail. En règle générale, le processus d'élaboration du questionnaire comprend :

Déterminer la forme et le contenu d'un recours à un expert ;

Sélectionner le type de questions ;

Formulation des questions ;

Déclaration des informations nécessaires à l'expert ;

Élaboration du formulaire de questionnaire.

Ces dernières années, parmi les types de questions, les questions dites en éventail (impliquent une réponse parmi plusieurs réponses), fermées (réponses « oui », « non », « je ne sais pas ») et ouvertes (la réponse la question peut être posée sous n'importe quelle forme) sont devenus les plus utilisés.

Lors de l'interrogation d'experts, il est très important de formuler correctement, simplement et sans ambiguïté, brièvement et en même temps avec l'exhaustivité nécessaire les questions dans les questionnaires, et d'indiquer dans le texte de la note explicative ce qui est exactement attendu de l'expert. Pour répondre aux questions, c'est-à-dire pour prendre une décision par chaque expert, des mesures objectives et (ou) subjectives de l'objet en question sont effectuées sous une forme explicite ou implicite. Dans la mesure subjective, les experts utilisent généralement l'une des méthodes mentionnées précédemment (classements, évaluation directe, comparaisons).

Méthode de classement et d'évaluation directe.

Grâce à la méthode du classement, l'expert effectue un classement (ordonnancement) des objets étudiés en fonction de leur importance relative (préférence). Dans ce cas, l'objet le plus préféré se voit généralement attribuer le premier rang et le moins préféré - le dernier, égal en valeur absolue au nombre d'objets commandés. Cet ordre devient plus précis avec moins d’objets d’étude, et vice versa.

P.

Tableau 1.9.2 Détermination du rang résultant des objets de classement

Objet de classement n°	Numéro d'expert							Somme des classements d'objets

Dans le cas d'une disposition préférée (par rang) des objets d'examen par un expert, la somme des rangs doit être égale à la somme des nombres de toute la série naturelle du nombre d'objets N,à partir d'un [ H x (H+ 1):2]. Les classements résultants d'objets de classement sur la base de données d'enquête sont déterminés comme la somme des classements pour chaque objet. Dans ce cas, au final, le premier rang est attribué à l'objet qui a reçu la plus petite somme de rangs, et le dernier rang est attribué à celui qui a la plus grande somme de rangs, c'est-à-dire l'objet le moins significatif (un exemple La méthode de détermination du classement résultant de trois objets par sept experts est donnée dans le tableau 2) .

La méthode d'évaluation directe (scoring) consiste à classer les objets étudiés en fonction de leur importance en attribuant des points à chacun d'eux. L'objet le plus significatif reçoit le plus grand nombre de points sur l'échelle acceptée ; la plage de l'échelle de notation va généralement de 0 à 1, à 5, à 10 ou à 100. Dans le cas le plus simple, la note peut être 0 ou 1. Parfois, l'évaluation est effectuée sous forme verbale, par exemple « très important », « important », « sans importance ». Pour plus de commodité dans le traitement des résultats de l'enquête, ces évaluations peuvent être converties en une échelle de points (par exemple, 3, 2, 1, respectivement).

N

Tableau 3. Détermination des résultats de l'évaluation directe des objets

Objet de l'évaluation N°	Numéro d'expert							Somme des points d'objet	Classement de l'objet résultant	Poids de l'objet

l'évaluation directe doit être utilisée avec la certitude que les experts sont pleinement informés de manière professionnelle sur les propriétés des objets étudiés. Sur la base des résultats des évaluations, le rang et le poids (importance) de chaque objet étudié sont déterminés (un exemple d'évaluation de trois objets sur une échelle de 10 points est donné dans le tableau 3).

Sur la base des résultats des expertises, l'emplacement de tout objet peut être déterminé à l'aide de la formule :

(2)

Où DANS je - importance je l'objet ( je = 1, 2,.., P), calculé sur la base

expertises ( j = 1,2,.., k),

UN je - note (en points) donnée je-à l'objet j l'expert.

Méthode de correspondance.

La méthode d'appariement est réalisée par comparaison par paires et comparaison séquentielle.

En comparaison par paire l'expert compare les objets étudiés selon leur importance par paires, en identifiant le plus important dans chaque paire. L'expert présente toutes les paires d'objets possibles sous la forme d'un enregistrement de chaque combinaison (objet 1 - objet 2, objet 2 - objet 3, etc.) ou sous forme de matrice. Le nombre total de paires de comparaison est

, (3)

Où N- nombre d'objets d'examen examinés.

DANS

Tableau 4 Matrice d'évaluation des objets à l'aide de la méthode de comparaison par paires

Nom de l'objet	Numéro d'article.						Nombre total de préférences

À la suite de la comparaison, l'expert exprime une opinion sur l'importance d'un objet particulier, c'est-à-dire donne la préférence à l'un d'entre eux. Parfois, les experts arrivent à la conclusion que chacun des objets d'une paire est équivalent. Pour commander tous les objets considérés, un traitement ultérieur des résultats de la comparaison est nécessaire. Il est plus pratique d'effectuer des comparaisons par paires et leur traitement en utilisant des matrices comme outil (tableau 4). Dans certains cas, avec un grand nombre d'objets étudiés, les résultats des comparaisons par paires sont influencés par des facteurs psychologiques, c'est-à-dire que la préférence va parfois non pas à l'objet qui est réellement préférable aux autres, mais à celui qui est écrit en premier dans le liste de paires ou se trouve dans la matrice ci-dessus comparée, donc, parfois, pour exclure l'influence psychologique, une double comparaison par paires est effectuée, c'est-à-dire qu'une comparaison par paires est faite à nouveau, mais uniquement avec la disposition inverse des objets et des objets dans chaque paire. Le nombre de paires dans une comparaison double par paire est deux fois plus grand que dans une comparaison simple par paire.

En notant chaque combinaison, l’expert met l’accent sur la plus importante de chaque paire d’objets comparés. A l'intersection des lignes verticales et horizontales de la matrice pour chaque paire d'objets, il met 1 ou 0 (ou plus ou moins) selon la signification d'un objet particulier déterminé par lui.

Le poids de chaque objet de comparaison est calculé à l'aide de la formule :

(4)

Où UN je/je,j- nombre de préférences (uns, ou plus, traits de soulignement)

je-ème objet terminé je-ième objet spécifié j-ème expert ;

UN - nombre total de paires d'objets.

R.

Tableau 5. Matrice récapitulative des résultats de la comparaison par paires d'objets

Nom de l'objet	Numéro d'article.	Nombre de préférences je- l'objet donné par les experts					Somme des préférences	Poids de l'objet

les résultats du remplissage des matrices par tous les experts et les données calculées peuvent être résumés dans une matrice (tableau 5).

Les calculs pour une double comparaison par paire sont effectués en utilisant les mêmes formules que pour une comparaison par paire régulière, mais le nombre de paires est doublé.

L'essence de la méthode de correspondance séquentielle est comme suit. L'expert classe tous les objets étudiés par ordre d'importance (à l'instar de la méthode du classement). Chaque objet se voit attribuer au préalable un certain nombre de points, par exemple sur une échelle de 0 à 1 (comme méthode d'évaluation). De plus, l'objet le plus important reçoit une note égale à 1, et tous les autres sont attribués par ordre décroissant d'importance de 1 à 0. Ensuite, l'expert décide si l'importance d'un objet de rang 1 sera supérieure à la somme des scores de tous les autres objets. Si tel est le cas, alors le score du premier objet augmente jusqu'à ce niveau, et sinon, l'expert réduit cette valeur à une valeur numérique telle qu'elle devient inférieure à la somme des scores de tous les autres objets. Les valeurs des notes des deuxième, troisième et suivants objets en importance sont déterminées séquentiellement de la même manière que la note du premier objet le plus important.

La méthode de comparaison séquentielle pour les experts est la plus laborieuse, surtout lorsque le nombre dépasse six ou sept objets à l'étude.

Traitement et évaluation de la cohérence des données expertes.

Le traitement des expertises recueillies s'effectue à la fois quantitativement (données numériques) et qualitativement (informations substantielles). Diverses méthodes sont utilisées pour le traitement. En présence de données numériques, des méthodes de moyenne des jugements d'experts sont utilisées pour résoudre les problèmes avec suffisamment de matériel d'information. Cependant, même avec les données numériques disponibles, mais avec des informations insuffisantes sur la question en question, ainsi que des méthodes quantitatives de traitement des données d'experts, des méthodes d'analyse et de synthèse qualitatives sont utilisées.

Lors de l'utilisation des méthodes d'expertise considérées (classements, etc.), les opinions des experts ne coïncident souvent pas, il est donc nécessaire d'évaluer quantitativement le degré de cohérence des opinions d'experts et de déterminer les raisons de la divergence des jugements. La mesure de cohérence est bien entendu déterminée sur la base des données statistiques de l’ensemble du groupe d’experts. Pour évaluer la cohérence des avis d'experts, en règle générale, coefficients de concordance.

La mesure de cohérence est déterminée par le traitement mathématique et statistique de tous les résultats d’examen disponibles. Ainsi, la cohérence des avis d'experts compétents lors de l'utilisation de toutes les méthodes d'expertise spécifiées, où les rangs des objets sont déterminés, peut être déterminée à l'aide du coefficient de concordance (accord) selon la formule :

(5)

où C est la somme des carrés des écarts des sommes des rangs pour chaque objet par rapport à la somme moyenne des rangs pour tous les objets et experts, c'est-à-dire

(6)

Où
- somme moyenne des rangs.

Le coefficient de concordance peut être compris entre
. À W=0 il n’y a pas d’accord entre les avis des experts, et quand W= 1 - cohérence complète. On considère généralement que la cohérence est suffisante si W>= 0,5.

Disons que, sur la base des résultats du travail d'experts compétents, certaines données de classement ont été obtenues et à partir d'elles, il est nécessaire de calculer le coefficient de concordance (tableau 6).

Le coefficient de concordance est égal à

, (7)

T

Tableau 6. Données de calcul du coefficient de concordance

Numéro d'expert	Classements donnés par des experts Cinq objets de classement ( N=5)

.e. les avis d'experts peuvent être considérés comme cohérents, puisque la valeur résultante du coefficient de concordance satisfait à la condition W>= 0,5.

Lors de l'utilisation de méthodes expertes dans lesquelles les rangs ne sont pas déterminés, pour trouver une concordance, les significations calculées des objets doivent être converties en rangs. Le rang 1 est attribué à l'objet qui a la plus grande importance, etc., sinon la cohérence des avis est évaluée selon d'autres critères d'accord.

La valeur calculée du coefficient de concordance doit être pondérée à l'aide du critère de Pearson (X 2 ) avec un certain niveau d'importance (DANS), c'est-à-dire la probabilité maximale d'un résultat incorrect |du travail des experts. Il suffit généralement de définir la signification entre 0,005 et 0,05.

En cas de réception de la valeur calculée X 2 calcul> tabulaire X 2 tableau (avec un niveau de signification sélectionné) les avis d'experts sont finalement reconnus comme convenus.

Valeurs du tableau X 2 tableau(Tableau 7) dépendent du niveau de significativité accepté et du nombre de degrés de liberté (S), qui est déterminé par la formule

, (8)

Valeur estimée X 2 calcul déterminé par la formule

Ainsi, pour les données de l’exemple donné précédemment

. (10)

Au niveau de signification de 0,05, la valeur du tableau X 2 tableau est égal à environ 9, c'est-à-dire que les avis d'experts peuvent être finalement reconnus comme convenus avec une probabilité de 0,95, puisque X 2 calcul > X 2 tableau .

Expertises et méthodes de mesure.

L’expertise est une mesure quantitative et/ou qualitative de l’indicateur correspondant.

Modalités d'obtention d'expertises quantitatives

Quantification directe

L'expert spécifie une valeur numérique spécifique ou une plage du paramètre requis.

Méthode du point médian.

Il est utilisé avec un grand nombre d'options alternatives.

Tout d’abord, les alternatives les plus (A) et les moins (L) préférées sont sélectionnées. Vient ensuite une option intermédiaire - M, dont l'évaluation divise le segment A - Z en deux.

Modalités d'obtention d'expertises de qualité

Classification experte (détermination de l'appartenance à un groupe, une variété, une catégorie - variété de thé)

Le classement des alternatives est le classement des alternatives comparées en fonction du degré de préférence d'un certain attribut.

La méthode des courbes expertes permet d'obtenir des prévisions basées sur une analyse de la dynamique d'indicateurs caractérisant l'objet de l'expérimentation (graphique, extrapolation). Pour éviter les erreurs lors de l'extrapolation, sur la base de l'opinion généralisée des experts, les points auxquels il faut s'attendre à des changements dans la tendance de développement de l'indicateur sont déterminés sur le graphique.

Les outils des méthodes ci-dessus sont des échelles qualitatives et quantitatives.

19. Méthodes d'évaluation des qualités des experts et constitution de commissions d'experts.

Méthode judiciaire.

La procédure est similaire à une audience au tribunal. Certains experts sont accusés, d'autres sont défendus et d'autres encore constituent le jury qui rend le verdict final. Les évaluations des experts sont subjectives, la question clé est donc la sélection des experts.

Évaluation des qualités de l'expert.

Expert- un spécialiste, un professionnel, dont le décideur juge utile de prendre en compte les appréciations et les jugements dans le processus de prise de décision.

La formation de la composition de la commission d'experts dépend :

Une situation décisionnelle particulière ;

La capacité des organisateurs de l'examen à attirer des spécialistes hautement qualifiés pour travailler ;

Possibilités pour les spécialistes de participer aux travaux de la commission d'experts.

Il n'existe pas de méthodologie unifiée généralement acceptée pour évaluer les qualités d'un expert.

Vous pouvez compter sur :

Connaissances professionnelles ;

Expérience et efficacité des activités dans le cadre de commissions d'experts.

Modalités d'évaluation des qualités d'un expert :

A priori– ne pas utiliser les informations sur les résultats de la participation de l’expert aux examens antérieurs (auto-évaluation, évaluation mutuelle, méthode liste d’experts, méthode documentation (questionnaire)).

A postériori– utiliser des informations sur les résultats de la participation de l'expert aux examens précédents (la méthode de comparaisons appariées d'objets préférées par un expert donné, la méthode d'écart par rapport à l'évaluation de groupe qui en résulte).

Test– implique un test spécial.

Le test doit être spécialement conçu pour des objets spécifiques d'expertise

Les vraies valeurs des paramètres estimés (réponses correctes) ne doivent pas être connues de l'expert

Une échelle doit être élaborée pour déterminer l'exactitude des évaluations données par l'expert.

La probabilité de deviner au hasard la bonne estimation devrait être très faible.

L'utilisation de méthodes de test permet d'évaluer une qualité professionnelle aussi importante d'un expert que la reproductibilité des expertises. Une série de tests similaires est réalisée et les résultats obtenus sont évalués. La stabilité des évaluations indique la compétence professionnelle de l'expert.