Informations

Existe-t-il des lignes directrices dans le processus d'examen par les pairs sur la méthodologie d'évaluation ?

Existe-t-il des lignes directrices dans le processus d'examen par les pairs sur la méthodologie d'évaluation ?

Habituellement, un article passe par un processus d'examen par les pairs avant d'être publié, et d'après ce que j'ai ici, il est assez courant que les examinateurs "exigent" des changements.

  • Existe-t-il des lignes directrices pour les pairs évaluateurs, notamment en ce qui concerne l'aspect méthodologique des choses ?
  • Des « spécialistes de la méthodologie » sont-ils intégrés au processus ?

J'ai l'impression que les bons éditeurs de revues auront au moins un examinateur compétent dans la méthodologie utilisée dans l'article. L'importance de ce rôle d'examinateur varierait vraisemblablement en fonction de la complexité statistique ou méthodologique de l'article.

Cela dit, la révision est bien connue pour être imparfaite, en particulier lorsqu'il s'agit de vérifier toutes les petites erreurs possibles qui peuvent être commises. Les erreurs dans l'analyse statistique et les rapports sont très répandues dans les articles publiés en psychologie. Par exemple, Bakker et Wicherts (2011) ont fait une revue, où citer le résumé

nous avons vérifié la cohérence des statistiques de test, des degrés de liberté et des valeurs de p rapportés dans un échantillon aléatoire de revues de psychologie à fort et faible impact… Sur la base de 281 articles… [nous estimons qu'] environ 18% des résultats statistiques dans le la littérature psychologique est mal rapportée. Les incohérences étaient plus fréquentes dans les revues à faible impact que dans les revues à fort impact. De plus, environ 15 % des articles contenaient au moins une conclusion statistique qui s'est avérée, après recalcul, incorrecte ; c'est-à-dire qu'un nouveau calcul a rendu insignifiant le résultat précédemment significatif, ou vice versa.

Les références

  • Bakker, M., & Wicherts, J.M. (2011). La (mauvaise) publication des résultats statistiques dans les revues de psychologie. Méthodes de recherche sur le comportement, 43(3), 666-678. TEXTE INTÉGRAL

Cela ne répond pas vraiment à votre question (parce qu'il ne traite pas en détail des problèmes méthodologiques), mais il existe un bel article de revue qui traite des problèmes du processus d'évaluation par les pairs en général en évaluant les « grands travaux scientifiques du passé » de le point de vue des sciences sociales actuelles :

  • Trafimov, D., & Rice, S. (2009). Et si les sociologues avaient passé en revue les grands travaux scientifiques du passé ? Perspectives sur la science psychologique, 4, 65-78. doi:10.1111/j.1745-6924.2009.01107.x Disponible en ligne sur http://cda.psych.uiuc.edu/writing_class_material/perspectives_articles/trafimow.pdf

La liste de référence contient quelques articles sur des questions de méthodologie statistique/mathématique.


Dans un autre article intéressant, Gerd Gigerenzer montre comment les valeurs p sont mal interprétées dans les recherches actuelles et que les tests d'hypothèse nulle sont une fausse exigence pour l'acceptation des articles par les grandes revues :

  • Gigerenzer, G., Krauss, S. et Vitouch, O. (2004). Le rituel nul : ce que vous avez toujours voulu savoir sur les tests de signification mais que vous aviez peur de demander. Dans D. Kaplan (éd.), Le Sage Handbook of Quantitative Methodology for the Social Sciences (pp. 391-408). Thousand Oaks, Californie : Sauge. Disponible en ligne sur http://www.sozialpsychologie.uni-frankfurt.de/wp-content/uploads/2010/09/GG_Null_20042.pdf

Une recherche Google de « directives d'examen par les pairs » apporte de nombreux résultats d'éditeurs et d'institutions. Peut-être que certains d'entre eux traitent de questions méthodologiques plus en détail.


Politiques d'examen par les pairs du gouvernement américain [ modifier | modifier la source]

La plupart des organismes de réglementation fédéraux du gouvernement des États-Unis doivent se conformer à des exigences spécifiques d'examen par les pairs avant que les organismes ne diffusent publiquement certaines informations scientifiques. Ces exigences ont été publiées dans un bulletin d'examen par les pairs publié par le Bureau de la gestion et du budget de la Maison Blanche (« OMB »), qui établit des « normes à l'échelle du gouvernement concernant le moment où l'examen par les pairs est requis et, le cas échéant, le type de processus d'examen par approprié."

Le bulletin d'examen par les pairs de l'OMB exige que les organismes de réglementation fédéraux américains soumettent toutes les « informations scientifiques influentes » à un examen par les pairs avant que les informations ne soient diffusées publiquement. Le Bulletin définit « l'information scientifique » comme :

« entrées factuelles, données, modèles, analyses, informations techniques ou évaluations scientifiques liées à des disciplines telles que les sciences comportementales et sociales, la santé publique et les sciences médicales, les sciences de la vie et de la terre, l'ingénierie ou les sciences physiques ».

Le bulletin d'examen par les pairs de l'OMB définit « l'information scientifique influente » comme

« les informations scientifiques que l'agence peut raisonnablement déterminer auront ou auront un impact clair et substantiel sur les politiques publiques importantes ou les décisions du secteur privé. les lignes directrices sur la qualité de l'information et les lignes directrices sur la qualité de l'information de l'agence. »

Comme indiqué dans la citation précédente, le bulletin d'examen par les pairs doit être lu en conjonction avec les « lignes directrices sur la qualité de l'information à l'échelle du gouvernement de l'OMB et les lignes directrices sur la qualité de l'information de l'agence ». Ces directives régissent la qualité de toutes les informations diffusées par la plupart des organismes de réglementation du gouvernement américain. Ces directives sont requises par une loi américaine promulguée en 2001 appelée Data Quality Act et également connue sous le nom d'Information Quality Act (« IQA »). L'OMB déclare qu'elle a préparé le bulletin d'examen par les pairs conformément à l'autorité de l'OMB en vertu de la DQA.

Le bulletin d'examen par les pairs fournit des directives détaillées pour l'examen par les pairs d'informations scientifiques influentes. Le Bulletin applique des exigences d'examen par les pairs plus strictes aux « évaluations scientifiques hautement influentes »

« qui constituent un sous-ensemble d'informations scientifiques influentes. Une évaluation scientifique est une évaluation d'un ensemble de connaissances scientifiques ou techniques qui synthétise généralement plusieurs entrées factuelles, données, modèles, hypothèses et/ou applique le meilleur jugement professionnel pour combler les incertitudes dans les données disponibles. informations."

Bien que les lignes directrices spécifiques du Bulletin d'évaluation par les pairs ne soient pas discutées ici en détail, il convient de noter que les lignes directrices diffèrent à plusieurs égards des pratiques traditionnelles d'évaluation par les pairs dans la plupart des revues. Par exemple, le Bulletin exige la divulgation publique de l'identité des pairs examinateurs lorsqu'ils examinent des évaluations scientifiques très influentes. Le résumé du Bulletin de certaines de ces exigences est présenté ci-dessous :

« En général, une agence procédant à l'examen par les pairs d'une évaluation scientifique très influente doit s'assurer que le processus d'examen par les pairs est transparent en mettant à la disposition du public les frais écrits aux examinateurs, les noms des examinateurs, le rapport des examinateurs (s) et la réponse de l'agence au(x) rapport(s) des pairs évaluateurs. . Ce bulletin exige des agences qu'elles adoptent ou adaptent les politiques de sélection des comités employées par la National Academy of Sciences (NAS)."

Le bulletin d'examen par les pairs aborde spécifiquement l'effet de la publication dans une revue scientifique à comité de lecture ainsi que les variations et les limites de l'examen par les pairs :


Types d'examen par les pairs

Simple aveugle

Dans ce processus, les noms des évaluateurs ne sont pas connus des auteurs. Les relecteurs connaissent le nom du ou des auteurs.

Double aveugle

Ici, ni les critiques ni les auteurs ne se connaissent.

Dans le processus d'examen ouvert, les examinateurs et les auteurs connaissent les noms des uns et des autres.

Et la revue éditoriale ?

Les revues utilisent également un processus de révision éditoriale. C'est ne pas le même que l'examen par les pairs. Dans un processus de révision éditoriale, un article est évalué en termes de lignes directrices de style et de clarté. Les examinateurs ici ne regardent pas l'exactitude technique ou les erreurs dans les données ou la méthodologie, mais examinent plutôt la grammaire, le style et si un article est bien écrit.


Lignes directrices de bonnes pratiques pour la modélisation analytique décisionnelle dans l'évaluation des technologies de la santé : un examen et une consolidation de l'évaluation de la qualité

L'utilisation de la modélisation analytique décisionnelle aux fins de l'évaluation des technologies de la santé (ETS) a considérablement augmenté ces dernières années. Plusieurs lignes directrices pour les meilleures pratiques ont émergé dans la littérature, cependant, il n'y a pas de norme convenue pour ce qui constitue un « bon modèle » ou comment les modèles devraient être évalués formellement. L'objectif de cet article est d'identifier, d'examiner et de consolider les lignes directrices existantes sur l'utilisation de la modélisation analytique décisionnelle aux fins de l'ETS et de développer un cadre cohérent par rapport auquel la qualité des modèles peut être évaluée. L'examen et le cadre qui en résulte sont résumés sous les trois thèmes clés de la structure, des données et de la cohérence. Les aspects « structurels » concernent la portée et la structure mathématique du modèle, y compris les stratégies en cours d'évaluation. Les questions couvertes sous le titre général de « Données » comprennent les méthodes d'identification des données et la manière dont l'incertitude doit être traitée. La « cohérence » se rapporte à la qualité globale du modèle. L'examen des lignes directrices existantes a montré que même si les auteurs peuvent fournir un message cohérent concernant certains aspects de la modélisation, tels que le besoin de transparence, ils sont contradictoires dans d'autres domaines. Les domaines particuliers de désaccord portent sur la manière dont les données doivent être incorporées dans les modèles et la manière dont l'incertitude doit être évaluée. À des fins d'évaluation, le cadre résultant est appliqué à un modèle d'analyse décisionnelle développé dans le cadre d'une évaluation pour le National Institute for Health and Clinical Excellence (NICE) au Royaume-Uni. À titre d'évaluation supplémentaire, l'examen basé sur le cadre est comparé à une évaluation fournie par un modélisateur expérimenté indépendant n'utilisant pas le cadre. On espère que le cadre développé ici pourra faire partie du processus d'évaluation des organismes d'évaluation tels que NICE et des modèles de décision soumis à des revues à comité de lecture. Cependant, étant donné la rapidité avec laquelle la méthodologie de modélisation décisionnelle progresse, sa mise à jour continue est nécessaire.


Conclusion

Une évaluation par les pairs est un moyen important d'obtenir les commentaires des membres de votre équipe. Il fournit également des informations utiles qui peuvent être utilisées pour stimuler davantage la croissance et le développement organisationnels.

Lorsque vous effectuez une évaluation par les pairs, quelle qu'elle soit, n'oubliez pas de maintenir un haut niveau de professionnalisme. Posez des questions qui encouragent les commentaires honnêtes des employés. Ne pas écureuil ou poser des questions avec des réponses prédéterminées.

Plus important encore, utilisez des outils de travail qui vous aident à recueillir et à traiter efficacement les commentaires. Formplus propose de nombreux modèles de formulaires pour la collecte et le traitement des informations.

Vous pouvez également créer des formulaires personnalisés pour votre organisation à l'aide du générateur Formplus.


Quelles sont les lignes directrices éthiques pour les pairs évaluateurs?

Tous les pairs évaluateurs doivent suivre ces directives éthiques pour les articles de revues Taylor & Francis en cours de révision :

  • Les évaluateurs doivent accorder une considération impartiale à chaque manuscrit soumis. Ils doivent juger chacun sur ses mérites, sans égard à la race, la religion, la nationalité, le sexe, l'ancienneté ou l'affiliation institutionnelle du ou des auteurs.
  • Les réviseurs doivent déclarer tout conflit d'intérêts avant d'accepter de réviser un manuscrit. Cela inclut toute relation avec l'auteur qui peut biaiser leur critique.
  • Les examinateurs doivent garder le processus d'examen par les pairs confidentiel. Ils ne doivent pas partager d'informations ou de correspondance sur un manuscrit avec quiconque en dehors du processus d'examen par les pairs.
  • Les examinateurs doivent fournir un rapport d'examen par les pairs constructif, complet, étayé et suffisamment substantiel.
  • Les examinateurs doivent éviter de faire des déclarations dans leur rapport qui pourraient être interprétées comme portant atteinte à la réputation de toute personne.
  • Les évaluateurs doivent faire tous les efforts raisonnables pour soumettre leur rapport et leur recommandation à temps. Ils doivent informer l'éditeur si cela n'est pas possible.
  • Les évaluateurs doivent attirer l'attention du rédacteur en chef de la revue sur toute similitude significative entre le manuscrit examiné et tout article publié ou manuscrit soumis dont ils ont connaissance.

Taylor & Francis recommandent que les évaluateurs adhèrent également aux lignes directrices éthiques du COPE pour les évaluateurs pairs.

Lisez les principales conclusions de notre recherche dans le livre blanc – Examen par les pairs : une vision globale


Améliorer l'évaluation par les pairs : ce que les évaluateurs peuvent faire

Robert J. DiDomenico, Pharm.D., BCPS-AQ Cardiology, FCCP, FHFSA, William L. Baker, Pharm.D., FCCP, FACC, FAHA, Stuart T. Haines, Pharm.D., FASHP, FCCP, FAPhA , Améliorer l'évaluation par les pairs : ce que les évaluateurs peuvent faire, American Journal of Health-System Pharmacy, Volume 74, Numéro 24, 15 décembre 2017, Pages 2080-2084, https://doi.org/10.2146/ajhp170190

En tant qu'auteur, il n'y a pas de meilleur sentiment que de recevoir une correspondance d'un éditeur de revue indiquant que votre article a été accepté pour publication. Cependant, ce sentiment d'exaltation peut rapidement se transformer en effroi si l'auteur doit répondre à des dizaines, voire des centaines, de commentaires de pairs évaluateurs. Nous avons observé que la qualité des évaluations par les pairs a diminué au cours de la dernière décennie et que leur orientation est souvent erronée, mettant l'accent sur la grammaire et le style plutôt que sur la science et la méthodologie. Ce commentaire fournit des conseils aux évaluateurs sur les meilleures pratiques pour mener une évaluation par les pairs pour les revues biomédicales.

Avantages d'être un évaluateur par les pairs. Se porter volontaire pour être évaluateur par les pairs est une première étape importante dans le processus d'évaluation par les pairs. Les évaluateurs sont généralement identifiés en fonction de leur expertise dans un domaine particulier. Les pairs examinateurs profitent aux auteurs, aux éditeurs et aux revues en fournissant des conseils utiles liés à un travail universitaire, en évaluant la méthodologie et l'importance de la science et en faisant des recommandations concernant les décisions de publication. 1 , 2 Il y a aussi des avantages à servir en tant que pairs évaluateurs. Il s'agit notamment de se tenir au courant des derniers développements dans leur domaine et d'améliorer leurs compétences pour évaluer de manière critique les articles scientifiques, ce qui peut améliorer leur propre rédaction scientifique. Enfin, c'est un honneur et un privilège d'être membre d'une profession. Ainsi, il existe une obligation morale de redonner à sa communauté professionnelle et scientifique. 3 , 4 Pour ces raisons, la participation à l'évaluation par les pairs est une attente professionnelle dans de nombreux contextes.

Caractéristiques d'un bon évaluateur par les pairs. La plupart des revues biomédicales utilisent les commentaires fournis au cours du processus d'examen par les pairs pour prendre des décisions éditoriales sur les manuscrits soumis pour publication. En règle générale, les éditeurs de revues à comité de lecture recherchent des experts en contenu pour effectuer une analyse critique du manuscrit et fournir (1) des commentaires spécifiques concernant le mérite scientifique du manuscrit, (2) des recommandations aux auteurs sur la façon d'améliorer le manuscrit, et (3) des recommandations à l'éditeur concernant la disposition du manuscrit. Les invitations à devenir évaluateur par les pairs sont souvent accompagnées de liens Web vers des ressources d'évaluateur (p.

Les caractéristiques d'un bon évaluateur par les pairs ne sont pas bien définies. Bien que plusieurs études aient tenté d'identifier les caractéristiques qui prédisent la performance des évaluateurs, les résultats sont peu cohérents et les associations sont faibles. 5 , – 9 L'âge plus jeune de l'évaluateur est l'une des seules caractéristiques qui ont été systématiquement associées à des évaluations par les pairs plus solides. 5 , – 8 Certains chercheurs ont trouvé une association positive entre la durée de la révision de l'article (jusqu'à 3 heures) et la qualité de la révision. 5 , 7

La qualité de l'examen par les pairs varie considérablement, peut-être en partie parce que peu de professionnels reçoivent une formation dans ce domaine. 1 , 10 Cependant, la formation formelle à elle seule n'affecte probablement que marginalement la qualité des évaluations par les pairs. Les chercheurs qui ont mené une étude de plus de 300 examinateurs qui ont effectué 2 856 examens pour le Annales de médecine d'urgence n'ont pas trouvé d'association entre plus de 10 heures de formation en compétences d'évaluation critique et la qualité de l'examen. 6 Cependant, un BMJ Une étude portant sur 609 évaluateurs a trouvé un petit avantage à court terme (<6 mois) associé à la participation à un programme de formation d'évaluateurs par les pairs. 9 Néanmoins, la variation de la qualité des évaluations par les pairs suggère que les évaluateurs par les pairs peuvent bénéficier de certaines orientations.

Ce que les évaluateurs peuvent faire : une approche étape par étape. Bien que d'autres approches soient acceptables, nous recommandons un processus étape par étape pour les pairs évaluateurs ( Figure 1). Quelle que soit l'approche utilisée, les meilleures évaluations par les pairs sont systématiques et complètes.

Processus étape par étape pour effectuer une évaluation par les pairs. 1 , – 4 , 10 , – 13

Processus étape par étape pour effectuer une évaluation par les pairs. 1 , – 4 , 10 , – 13

Répondre à l'invitation à effectuer une évaluation par les pairs. Les pairs évaluateurs doivent considérer plusieurs questions avant de décider d'accepter ou de refuser une invitation à effectuer une évaluation par les pairs. Les évaluateurs doivent d'abord évaluer s'ils sont qualifiés pour réviser le manuscrit. 2 , 10 , 11 Les réviseurs reçoivent généralement un résumé du manuscrit avec l'invitation à réviser. Les évaluateurs ne doivent accepter les invitations à réviser que s'ils ont une expertise dans le domaine d'intérêt du manuscrit. Dans certains cas, le réviseur peut avoir l'expertise pour réviser une section clé du manuscrit (par exemple, la méthodologie de recherche, l'analyse statistique) mais pas d'autres sections. Dans ce cas, l'examinateur doit être clair sur la portée de l'examen avant d'accepter l'invitation. 2 , 10

Si le manuscrit relève du domaine d'expertise du réviseur, des conflits d'intérêts potentiels ou réels doivent être pris en compte. 2 , 10 , 11 Les conflits potentiels entre les évaluateurs peuvent inclure des relations personnelles étroites (par exemple, le conjoint) ou professionnelles (par exemple, mentor-mentoré, collègue institutionnel) avec un ou plusieurs des auteurs. 10 , 11 En outre, la présence d'intérêts conflictuels ou concurrents qui peuvent créer un potentiel d'avantage personnel, financier, intellectuel, professionnel, politique ou religieux pour l'examinateur peut être considérée comme un conflit d'intérêts. 2 , 10 , 11 Les évaluateurs devraient se poser cette question simple mais puissante : les autres (auteurs, éditeurs ou lecteurs) croiraient-ils que ma critique positive ou négative de cet article est de quelque manière que ce soit motivée par l'intérêt personnel ? Si la réponse est oui, il est essentiel de discuter du conflit potentiel avec l'éditeur avant d'accepter l'invitation à réviser. 2 , 10 , 11

Le respect des délais est d'une importance cruciale pour le processus d'examen par les pairs. Pour éviter des retards inutiles dans le processus de publication, le réviseur doit tenir compte de sa capacité à respecter la date limite fixée par la revue pour terminer la révision avant d'accepter l'invitation. 2 , 10 , 11 Une évaluation par les pairs de qualité peut prendre plusieurs heures. 3 , 5 , 7 , 10 Les évaluateurs disposent généralement de 2 semaines pour terminer leur évaluation par les pairs, bien que le délai puisse être aussi bref que 48 heures et aussi long que 4 semaines.11 Les évaluateurs doivent répondre aux invitations d'examen par les pairs en temps opportun, surtout si l'invitation est refusée. 2 , 12 Dans certains cas, les revues annuleront leurs invitations si une réponse rapide (par exemple, dans les 3 à 4 jours) n'est pas reçue. Tout au long du processus, les évaluateurs doivent maintenir la confidentialité et ne doivent jamais faire circuler le manuscrit ou discuter de son contenu avec d'autres. 1 , 12 Si les évaluateurs souhaitent inclure d'autres personnes (par exemple, des stagiaires) dans le processus d'évaluation par les pairs, une autorisation doit être demandée pour le faire, ou au minimum, l'éditeur doit être informé lorsque la critique est soumise. 2 , 12

Réaliser l'examen par les pairs. Lecture rapide. Beaucoup s'accordent à dire que la première étape d'une évaluation par les pairs consiste à effectuer une lecture rapide. 1 , 3 , 4 , 10 , 13 Au cours de cette première lecture, les évaluateurs doivent parcourir l'article pour acquérir une compréhension de base du contenu du manuscrit. 13 Au cours de la lecture rapide, les évaluateurs doivent à nouveau évaluer s'ils ont l'expertise nécessaire pour effectuer l'examen et s'il existe des conflits d'intérêts réels ou potentiels. Les réviseurs doivent informer immédiatement le rédacteur en chef si ces problèmes sont identifiés. 4 Les évaluateurs doivent noter les ambiguïtés et les questions qui surviennent au cours de la lecture rapide et commencer à se faire une opinion sur l'importance et la pertinence du travail. 3 , 10

Une autre raison importante pour la lecture rapide est d'identifier les défauts critiques ou « fatals » du manuscrit. 1 , 4 , 10 , 13 En général, les défauts d'un manuscrit peuvent être classés comme mineurs (ne nécessitent pas d'action de l'auteur), majeurs (nécessitent une résolution satisfaisante avant que la publication ne soit envisagée) et fatals (jugent le manuscrit, même avec des révisions majeures, irréparable ). 1, 10, 13 Si les évaluateurs identifient un défaut fatal lors de la lecture rapide, ils peuvent recommander de rejeter le manuscrit à ce stade, en renonçant à une lecture plus détaillée et à une critique écrite. 1 , 4 , 10 , 13 Des exemples courants de défauts de manuscrit sont répertoriés dans le tableau 1.

Défauts du manuscrit pouvant justifier une révision ou un rejet lors d'un examen par les pairs 1 , 10 , 13

Type de défaut. Caractéristiques .
Défauts mineurs Le style d'écriture est médiocre, le manque de clarté, l'organisation et la fluidité du manuscrit sont médiocres, les tableaux ou les figures dupliquent les informations dans le texte, les erreurs de référencement
Défauts majeurs La méthodologie omet les analyses qui peuvent affecter les résultats (par exemple, le contrôle des variables critiques), les méthodes sont mal décrites, les tableaux de données ou les chiffres peu clairs, les données de confirmation qui ajoutent peu à la compréhension actuelle en l'absence d'arguments solides justifiant la répétition, des recherches importantes ou pertinentes sont non cité, les limites sont mal reconnues, les conclusions sont surestimées ou contredites par les propres données de l'auteur
Des faiblesses fatales Consentement non obtenu au besoin, méthodes contraires à l'éthique, méthodologie discréditée, méthodologie défectueuse conduisant à des résultats non concluants ou inexacts (par exemple, ignore un processus connu pour influencer fortement le sujet d'intérêt)
Type de défaut. Caractéristiques .
Défauts mineurs Le style d'écriture est médiocre, le manque de clarté, l'organisation et la fluidité du manuscrit sont médiocres, les tableaux ou les figures dupliquent les informations dans le texte, les erreurs de référencement
Défauts majeurs La méthodologie omet les analyses qui peuvent affecter les résultats (par exemple, le contrôle des variables critiques), les méthodes sont mal décrites, les tableaux de données ou les chiffres peu clairs, les données de confirmation qui ajoutent peu à la compréhension actuelle en l'absence d'arguments solides justifiant la répétition, des recherches importantes ou pertinentes sont non cité, les limites sont mal reconnues, les conclusions sont surestimées ou contredites par les propres données de l'auteur
Des faiblesses fatales Consentement non obtenu au besoin, méthodes contraires à l'éthique, méthodologie discréditée, méthodologie défectueuse conduisant à des résultats non concluants ou inexacts (par exemple, ignore un processus connu pour influencer fortement le sujet d'intérêt)

Défauts du manuscrit pouvant justifier une révision ou un rejet lors d'un examen par les pairs 1 , 10 , 13

Type de défaut. Caractéristiques .
Défauts mineurs Le style d'écriture est médiocre, le manque de clarté, l'organisation et la fluidité du manuscrit sont médiocres, les tableaux ou les figures dupliquent les informations dans le texte, les erreurs de référencement
Défauts majeurs La méthodologie omet les analyses qui peuvent affecter les résultats (par exemple, le contrôle des variables critiques), les méthodes sont mal décrites, les tableaux de données ou les chiffres peu clairs, les données de confirmation qui ajoutent peu à la compréhension actuelle en l'absence d'arguments solides justifiant la répétition, des recherches importantes ou pertinentes sont non cité, les limites sont mal reconnues, les conclusions sont surestimées ou contredites par les propres données de l'auteur
Des faiblesses fatales Consentement non obtenu en cas de besoin, méthodes non éthiques, méthodologie discréditée, méthodologie défectueuse conduisant à des résultats non concluants ou inexacts (par exemple, ignore un processus connu pour influencer fortement le sujet d'intérêt)
Type de défaut. Caractéristiques .
Défauts mineurs Le style d'écriture est médiocre, le manque de clarté, l'organisation et la fluidité du manuscrit sont médiocres, les tableaux ou les figures dupliquent les informations dans le texte, les erreurs de référencement
Défauts majeurs La méthodologie omet les analyses qui peuvent affecter les résultats (par exemple, le contrôle des variables critiques), les méthodes sont mal décrites, les tableaux de données ou les chiffres peu clairs, les données de confirmation qui ajoutent peu à la compréhension actuelle en l'absence d'arguments solides justifiant la répétition, des recherches importantes ou pertinentes sont non cité, les limites sont mal reconnues, les conclusions sont surestimées ou contredites par les propres données de l'auteur
Des faiblesses fatales Consentement non obtenu en cas de besoin, méthodes non éthiques, méthodologie discréditée, méthodologie défectueuse conduisant à des résultats non concluants ou inexacts (par exemple, ignore un processus connu pour influencer fortement le sujet d'intérêt)

Lecture détaillée. Après la lecture rapide, les évaluateurs doivent effectuer une lecture critique plus détaillée du manuscrit. 3 , 4 , 10 , 13 Certains chercheurs ont suggéré que cela se produise des heures voire des jours après la première lecture, car cela peut permettre au réviseur de mieux se préparer à une lecture plus critique en examinant les documents auxiliaires (par exemple, les instructions du réviseur, les figures, les tableaux, fichiers supplémentaires). 2 , 3 , 13 Le but principal de la lecture détaillée est de déterminer les mérites scientifiques et la pertinence du manuscrit. 3 , 4 , 13 Pour aider à formuler cette évaluation, les évaluateurs doivent se poser 3 questions sur le manuscrit : Est-ce que je le comprends ? Est-ce que je le crois ? Est-ce que j'en ai quelque chose à faire? 11 Les manuscrits doivent énoncer clairement la question de recherche ou le problème clinique, puis décrire comment le travail scientifique a été mené. Si des méthodes valides sont utilisées et que les conclusions sont étayées par les données, les résultats devraient être crédibles. Enfin, si l'ouvrage est original, la question ou le problème important, ou l'intervention innovante, il doit stimuler l'intérêt du réviseur et des lecteurs. Les évaluateurs doivent également noter les ambiguïtés et les questions qui surviennent au cours de leur examen détaillé et fournir des suggestions d'amélioration. 3 , 4 , 13 Il est important de noter que le réviseur ne doit pas se concentrer sur la langue, le style d'écriture et la grammaire, à moins que ceux-ci n'affectent la clarté d'un point particulier ou que la fréquence de ces problèmes n'affecte de manière significative la lisibilité globale du manuscrit. 3 , 4 , 11 , 13 Dans de tels cas, le réviseur ne doit pas tenter de réécrire l'article pour les auteurs, mais plutôt souligner les sections du manuscrit qui doivent être traitées.

La lecture détaillée doit évaluer tous les aspects du manuscrit, y compris le titre, les mots-clés, le résumé, l'introduction, les méthodes, les résultats, la discussion, la conclusion, les graphiques, les tableaux, les figures et les références. La plupart des défauts mineurs et majeurs (tableau 1) sont identifiés lors de cette lecture plus critique. Pour les manuscrits de recherche, les défauts du manuscrit se trouvent généralement dans la section des méthodes. Les évaluateurs doivent envisager d'utiliser un processus systématique (p. ex., R andomisé, Attrition, Mesure par des évaluateurs aveugles ou des mesures objectives [RAMbo]) ou suivre les directives de déclaration lors de l'évaluation critique des essais cliniques randomisés (p. ex., CONsolidated Standards of Reporting Trials [CONSORT] ) ou des méta-analyses (p. ex., QUality Of Reporting Of Meta-analyses [QUORUM]), en particulier pour les évaluateurs ayant une expérience limitée. 1 , 4 , 14 , – 16 Lors de l'évaluation de la section de conclusion, les évaluateurs doivent s'assurer que les auteurs n'exagèrent pas leurs conclusions et identifier les déclarations qui peuvent être perçues comme biaisées. Bien qu'il ne s'agisse pas d'une liste exhaustive, le tableau 2 énumère les caractéristiques des manuscrits de qualité dignes d'acceptation. Les réviseurs ne devraient pas avoir peur de recommander l'acceptation ou le rejet conditionnel des manuscrits qui, selon eux, présentent des défauts importants ou sont insuffisamment uniques ou importants.

Caractéristiques des manuscrits de qualité dignes d' acceptation 1 , 3 , 4 , 10 , 11 , 14

Section de manuscrit. Caractéristiques .
Titre, mots-clés, résumé Le titre est succinct et indique clairement la nature du travail scientifique, le résumé résume de manière appropriée et précise le contenu du manuscrit, aucune nouvelle information n'est introduite
introduction Résume les développements récents dans le domaine d'intérêt met en évidence les lacunes existantes dans les connaissances clarifie l'originalité, la nouveauté et l'importance du travail
Méthodes Suit des normes acceptables ou utilise une nouvelle technique qui améliore la force de la recherche, les approches utilisées sont suffisamment décrites pour permettre la réplication du travail scientifique
résultats et discussion Résumer les données de manière cohérente, l'importance décrite dans le contexte des connaissances actuelles, les limites et les lacunes qui subsistent sont décrites de manière appropriée
Conclusion succinct, réfléchit sur les objectifs du manuscrit, en cohérence avec les données
Graphiques, tableaux, figures, références Compléter les données du texte, ne pas répéter ni contredire les données du texte, littérature pertinente citée
Section de manuscrit. Caractéristiques .
Titre, mots-clés, résumé Le titre est succinct et indique clairement la nature du travail scientifique, le résumé résume de manière appropriée et précise le contenu du manuscrit, aucune nouvelle information n'est introduite
introduction Résume les développements récents dans le domaine d'intérêt met en évidence les lacunes existantes dans les connaissances clarifie l'originalité, la nouveauté et l'importance du travail
Méthodes Suit des normes acceptables ou utilise une nouvelle technique qui améliore la force de la recherche, les approches utilisées sont suffisamment décrites pour permettre la réplication du travail scientifique
résultats et discussion Résumer les données de manière cohérente, l'importance décrite dans le contexte des connaissances actuelles, les limites et les lacunes qui subsistent sont décrites de manière appropriée
Conclusion succinct, réfléchit sur les objectifs du manuscrit, en cohérence avec les données
Graphiques, tableaux, figures, références Compléter les données du texte, ne pas répéter ni contredire les données du texte, littérature pertinente citée

Caractéristiques des manuscrits de qualité dignes d' acceptation 1 , 3 , 4 , 10 , 11 , 14

Section de manuscrit. Caractéristiques .
Titre, mots-clés, résumé Le titre est succinct et indique clairement la nature du travail scientifique, le résumé résume de manière appropriée et précise le contenu du manuscrit, aucune nouvelle information n'est introduite
introduction Résume les développements récents dans le domaine d'intérêt met en évidence les lacunes existantes dans les connaissances clarifie l'originalité, la nouveauté et l'importance du travail
Méthodes Suit des normes acceptables ou utilise une nouvelle technique qui améliore la force de la recherche, les approches utilisées sont suffisamment décrites pour permettre la réplication du travail scientifique
résultats et discussion Résumer les données de manière cohérente, l'importance décrite dans le contexte des connaissances actuelles, les limites et les lacunes qui subsistent sont décrites de manière appropriée
Conclusion succinct, réfléchit sur les objectifs du manuscrit, en cohérence avec les données
Graphiques, tableaux, figures, références Compléter les données du texte, ne pas répéter ni contredire les données du texte, littérature pertinente citée
Section de manuscrit. Caractéristiques .
Titre, mots-clés, résumé Le titre est succinct et indique clairement la nature du travail scientifique, le résumé résume de manière appropriée et précise le contenu du manuscrit, aucune nouvelle information n'est introduite
introduction Résume les développements récents dans le domaine d'intérêt met en évidence les lacunes existantes dans les connaissances clarifie l'originalité, la nouveauté et l'importance du travail
Méthodes Suit des normes acceptables ou utilise une nouvelle technique qui améliore la force de la recherche, les approches utilisées sont suffisamment décrites pour permettre la réplication du travail scientifique
résultats et discussion Résumer les données de manière cohérente, l'importance décrite dans le contexte des connaissances actuelles, les limites et les lacunes qui subsistent sont décrites de manière appropriée
Conclusion succinct, réfléchit sur les objectifs du manuscrit, en cohérence avec les données
Graphiques, tableaux, figures, références Compléter les données du texte, ne pas répéter ni contredire les données du texte, littérature pertinente citée

Numérisation finale. Les réviseurs doivent effectuer une analyse finale du manuscrit, en se concentrant sur l'organisation, le flux et d'autres problèmes qui affectent la clarté. 10 Les évaluateurs doivent garder à l'esprit que leur évaluation du mérite scientifique du manuscrit est plus précieuse pour les éditeurs de revues que leur évaluation de la grammaire et du style d'écriture. 3 , 4 , 10 , 13 La dernière lecture rapide offre également au réviseur l'occasion de mettre en évidence les défauts mineurs (tableau 1) et de proposer des suggestions d'amélioration. 1

Critique écrite. Les évaluateurs doivent préparer leur critique écrite aux éditeurs de la revue en résumant d'abord le manuscrit, puis en fournissant des commentaires spécifiques liés aux défauts identifiés. 4, 10, 11, 13 Bien que certains évaluateurs utilisent le premier paragraphe de la critique écrite pour résumer le contenu et les conclusions du manuscrit, nous suggérons que ce résumé se concentre sur l'analyse globale du manuscrit par l'évaluateur. 4 , 10 , 11 , 13 Lorsqu'ils fournissent leur analyse globale du manuscrit, les évaluateurs doivent souligner les points forts, souligner les défauts importants et commenter l'importance ou la signification du travail. 4 , 10 , 11 , 13 Tout au long de la critique, les évaluateurs doivent être honnêtes et directs, mais attentionnés lorsqu'ils fournissent des commentaires aux auteurs. 1 , 13 Les problèmes grammaticaux identifiés par le réviseur qui sont omniprésents (par exemple, de nombreuses fautes d'orthographe) doivent être résumés, en laissant un examen détaillé de la grammaire, de l'orthographe et du style d'écriture aux réviseurs et au personnel technique de la revue. 4 , 10 , 11 , 13 Le résumé doit équilibrer les commentaires à la fois positifs et constructifs cohérents avec l'évaluation globale du manuscrit (par exemple, la majorité des commentaires doivent être positifs si la recommandation est d'accepter ou d'accepter avec des révisions mineures). 4 , 10 , 11 , 13 Si un examinateur n'a examiné que des parties spécifiques du manuscrit, ce fait doit être clairement indiqué dans le résumé d'ouverture. 2

Après le résumé, les évaluateurs doivent fournir des commentaires spécifiques liés à chaque section du manuscrit. Les évaluateurs doivent organiser leurs commentaires de manière logique et les numéroter. 10 , 11 , 13 De plus, les évaluateurs doivent préciser où dans le manuscrit (par exemple, les numéros de page et de ligne) les commentaires sont dirigés. 13 De nombreux relecteurs négligent de fournir des commentaires sur le titre et le résumé, mais ce sont peut-être les éléments les plus importants du manuscrit. De nombreux lecteurs liront ou n'auront accès qu'au titre et au résumé lors d'une recherche documentaire. Il est utile pour les auteurs et les éditeurs d'indiquer si un commentaire identifie un problème majeur qui doit être traité ou est simplement une recommandation (c'est-à-dire un problème mineur). 4 , 13 Étant donné que l'un des objectifs de l'examen par les pairs est d'améliorer la qualité des manuscrits, les commentaires des examinateurs doivent être objectifs et constructifs, avec des suggestions concrètes pour corriger les défauts. 2 , 4 , 10 , 11, 13 Étant donné que la classification des défauts d'un manuscrit est subjective, si les examinateurs déterminent qu'il existe un défaut fatal, une explication de la raison pour laquelle le manuscrit est irréparable est justifiée. 1 , 10 , 13 Le cas échéant, les commentaires doivent être étayés par des preuves (par exemple, de la littérature à l'appui) pour aider les éditeurs dans leur décision et les auteurs dans leurs révisions. 2 , 4 , 10 Lorsqu'une déclaration dans le manuscrit est ambiguë et peut prêter à confusion pour le lecteur, le réviseur peut proposer des suggestions spécifiques pour améliorer la clarté. 4 , 10 , 11 , 13 Les évaluateurs doivent s'abstenir de divulguer leur recommandation de publication aux auteurs dans la critique. La responsabilité de déterminer la disposition du manuscrit incombe aux éditeurs de la revue.

Les réviseurs sont souvent invités à fournir des commentaires confidentiels aux éditeurs. Ces commentaires doivent inclure une brève explication pour justifier la recommandation de publication du réviseur. 13 D'autres commentaires confidentiels que les évaluateurs peuvent souhaiter inclure sont des opinions sans fard sur des aspects spécifiques du manuscrit, des préoccupations concernant l'éthique (par exemple, plagiat, fraude, pratiques de recherche contraires à l'éthique) et la reconnaissance des personnes qui peuvent avoir aidé à mener l'examen. 1 , 4 , 11 , 13

Recommandation de publication. Dans la plupart des cas, les évaluateurs sont invités à fournir leurs recommandations concernant la publication comme suit : accepter, accepter avec des révisions ou rejeter. Certaines revues distinguent « accepter avec des révisions mineures » de « accepter avec des révisions majeures ». En général, les manuscrits bien écrits, nouveaux, scientifiquement puissants et pertinents pour les lecteurs de la revue méritent d'être acceptés. 3 , 11 Les manuscrits qui ne satisfont pas à ces critères doivent être considérés pour acceptation conditionnelle (révisions en attente) ou rejet. 3 Les manuscrits avec seulement des défauts mineurs doivent être recommandés pour une acceptation conditionnelle (accepter avec des révisions ou accepter avec des révisions mineures) étant entendu que les suggestions du réviseur pour améliorer le manuscrit sont discrétionnaires et peuvent finalement être ignorées par les auteurs. 4 , 10 En revanche, les manuscrits présentant des défauts majeurs ne devraient être recommandés pour une acceptation conditionnelle (accepter avec révisions ou accepter avec révisions majeures) que si les auteurs répondent de manière satisfaisante aux préoccupations des évaluateurs. 1 , 4 , 10 Lorsqu'ils délibèrent sur leur recommandation de publication, les évaluateurs doivent donner la priorité aux travaux innovants pouvant présenter des défauts méthodologiques (mineurs ou majeurs) par rapport aux manuscrits purement confirmatifs ou susceptibles de ne pas intéresser le lectorat de la revue. 4 L'utilisation de méthodes de recherche contraires à l'éthique, qui ne suivent pas les normes contemporaines (par exemple, des méthodes obsolètes ou discréditées) ou qui ne peuvent pas être reproduites est un motif pour recommander le rejet d'un manuscrit. 1 , 11 , 13

Conclusion. La qualité des évaluations par les pairs varie considérablement et est souvent erronée, ce qui entraîne des défis pour les éditeurs de revues et des frustrations pour les auteurs. L'utilisation d'une approche par étapes lors de la conduite d'un examen par les pairs peut améliorer la qualité des examens, conduisant finalement à des articles de haute qualité pour la publication.


Étapes et normes d'un examen systématique

Une revue systématique commence par une question clairement définie accompagnée de critères d'inclusion et d'exclusion établis.

Une fois que vous avez une idée initiale, recherchez la littérature déjà publiée sur le sujet. S'il existe déjà un article de revue systématique, une autre revue sur le même sujet n'est pas nécessaire. De plus, l'examen des revues systématiques publiées peut vous aider à mieux formuler votre propre question de recherche.

Si vous trouvez un article de recherche qui correspond à votre sujet, enregistrez-le. Les articles qui illustrent votre sujet de recherche sont appelés articles « gold-standard » et sont utilisés comme exemples pendant le processus de recherche (étape 3).

Bases de données pour rechercher des avis déjà publiés

    (Gratuit) : Une stratégie de recherche pour récupérer les citations identifiées comme des revues systématiques ou des méta-analyses. (NetID requis) : son onglet EBM peut aider à trouver des revues systématiques ou des méta-analyses. (Gratuit) : Un outil pour trouver des revues systématiques à l'aide de PICO (Population, Intervention, Comparison, and Outcome) (NetID requis) : La ressource comprend le texte intégral des revues systématiques régulièrement mises à jour des effets des soins de santé préparées par The Cochrane Collaboration.

Qu'est-ce qu'un protocole de revue systématique ?

Basé sur Cochrane, il s'agit d'un plan prédéfini et de l'approche proposée pour une revue systématique. Il décrit la question que les auteurs de la revue abordent, détaillant les critères selon lesquels les études seront évaluées pour inclusion dans la revue et décrivant comment les auteurs géreront le processus de revue. Le protocole sert également de notification de vos plans aux autres chercheurs, afin que personne ne tente le même projet. Il est fortement suggéré d'enregistrer votre protocole de revue systématique une fois qu'il est rédigé. L'objectif de l'enregistrement d'une revue systématique est de réduire les biais de publication, d'améliorer la transparence et d'éviter la duplication des efforts.

Un bon moyen de vous familiariser avec la rédaction de protocoles de recherche de revues systématiques est de jeter un œil à ceux enregistrés sur PROSPERO, le registre prospectif international des revues systématiques. Une fois que vous avez rédigé une ébauche de votre protocole, faites-la réviser par une personne extérieure à votre équipe de recherche. S'il est enregistré dans PROSPERO, il sera également ouvert à l'examen par les pairs d'autres chercheurs.

Les informations clés pour la rédaction d'un protocole de revue systématique comprennent :

  • Une question de recherche comprenant les patients et la population, l'intervention ou l'exposition, la comparaison (le cas échéant) et les résultats.
  • Bases de données utilisées pour les recherches et la stratégie de recherche
  • Critères d'inclusion et d'exclusion.
  • Méthodes utilisées pour évaluer le risque de biais.
  • Méthode d'extraction des données (sélection et formulaire de codage).
  • Méthode d'analyse des données, y compris l'analyse statistique, le cas échéant.
  • Date de début prévue ou réelle.
  • Former une équipe de revue systématique et des informations sur les membres de l'équipe.
  • Revoir le calendrier du projet.
  • Sources de financement/sponsors
  • Conflit d'interêts.
  • Date d'enregistrement.

Outre PROSPERO, il existe d'autres organisations pour lesquelles vous pouvez rechercher un protocole de revue systématique enregistré :


Processus efficaces d'évaluation par les pairs : résultats de la recherche et orientations futures

Malgré la popularité de l'évaluation par les pairs (AP), les lacunes dans la littérature rendent difficile la description exacte de ce qui constitue une AP efficace. Dans une revue de la littérature, nous avons divisé l'AP en variables, puis nous avons étudié leur interdépendance. Nous avons constaté que (a) les qualités psychométriques des AP sont améliorées par la formation et l'expérience des pairs évaluateurs (b) le développement des compétences spécifiques au domaine bénéficie de la révision basée sur les AP (c) le développement des compétences des AP bénéficie de la formation et est liés au style de pensée et à la réussite scolaire des élèves, et (d) les attitudes des élèves envers l'AP sont positivement influencées par la formation et l'expérience. Nous concluons par des recommandations pour de futures recherches.


Stratégies optimales à considérer lors de l'examen par les pairs d'une revue systématique et d'une méta-analyse

Les revues systématiques sont populaires. Une estimation récente indique que 11 nouvelles revues systématiques sont publiées quotidiennement. Néanmoins, les preuves indiquent que la qualité des rapports des revues systématiques n'est pas optimale. L'une des raisons probables est que les rapports des auteurs n'ont pas fait l'objet d'une évaluation par les pairs inadéquate. Il existe maintenant de nombreux types différents d'examens systématiques et leur évaluation par les pairs peut être améliorée en utilisant une directive de rapport pour compléter le modèle que les éditeurs de revues vous ont demandé, en tant qu'examinateur, d'utiliser. De plus, se tenir au courant de la littérature actuelle, que ce soit en tant qu'expert en contenu ou en étant au courant des progrès des méthodes d'examen systématique, contribuera probablement à un examen par les pairs plus complet et plus efficace. Fournir un bref résumé de ce que l'examen systématique a rapporté est une première étape importante dans le processus d'examen par les pairs (et n'est pas effectué assez fréquemment). Fondamentalement, il donne aux auteurs une idée de ce que l'examinateur estime avoir été exécuté (méthodes) et trouvé (résultats). Il est important de noter qu'il fournit également des éclaircissements concernant tout problème potentiel dans les méthodes, y compris les approches statistiques pour la méta-analyse, les résultats et l'interprétation de l'examen systématique, pour lesquels l'examinateur peut demander des explications aux auteurs. Ces clarifications sont mieux présentées sous forme de questions à les auteurs.


Stratégies optimales à considérer lors de l'examen par les pairs d'une revue systématique et d'une méta-analyse

Les revues systématiques sont populaires. Une estimation récente indique que 11 nouvelles revues systématiques sont publiées quotidiennement. Néanmoins, les preuves indiquent que la qualité des rapports des revues systématiques n'est pas optimale. L'une des raisons probables est que les rapports des auteurs n'ont pas fait l'objet d'une évaluation par les pairs inadéquate. Il existe maintenant de nombreux types différents d'examens systématiques et leur évaluation par les pairs peut être améliorée en utilisant une directive de rapport pour compléter le modèle que les éditeurs de revues vous ont demandé, en tant qu'examinateur, d'utiliser. De plus, se tenir au courant de la littérature actuelle, que ce soit en tant qu'expert en contenu ou en étant au courant des progrès des méthodes d'examen systématique, contribuera probablement à un examen par les pairs plus complet et plus efficace. Fournir un bref résumé de ce que l'examen systématique a rapporté est une première étape importante dans le processus d'examen par les pairs (et n'est pas effectué assez fréquemment). Fondamentalement, il donne aux auteurs une idée de ce que l'examinateur estime avoir été exécuté (méthodes) et trouvé (résultats). Il est important de noter qu'il fournit également des éclaircissements concernant tout problème potentiel dans les méthodes, y compris les approches statistiques pour la méta-analyse, les résultats et l'interprétation de l'examen systématique, pour lesquels l'examinateur peut demander des explications aux auteurs. Ces clarifications sont mieux présentées sous forme de questions à les auteurs.


Types d'examen par les pairs

Simple aveugle

Dans ce processus, les noms des évaluateurs ne sont pas connus des auteurs. Les relecteurs connaissent le nom du ou des auteurs.

Double aveugle

Ici, ni les critiques ni les auteurs ne se connaissent.

Dans le processus d'examen ouvert, les examinateurs et les auteurs connaissent les noms des uns et des autres.

Et la revue éditoriale ?

Les revues utilisent également un processus de révision éditoriale. C'est ne pas le même que l'examen par les pairs. Dans un processus de révision éditoriale, un article est évalué en termes de lignes directrices de style et de clarté. Les examinateurs ici ne regardent pas l'exactitude technique ou les erreurs dans les données ou la méthodologie, mais examinent plutôt la grammaire, le style et si un article est bien écrit.


Lignes directrices de bonnes pratiques pour la modélisation analytique décisionnelle dans l'évaluation des technologies de la santé : un examen et une consolidation de l'évaluation de la qualité

L'utilisation de la modélisation analytique décisionnelle aux fins de l'évaluation des technologies de la santé (ETS) a considérablement augmenté ces dernières années. Plusieurs lignes directrices pour les meilleures pratiques ont émergé dans la littérature, cependant, il n'y a pas de norme convenue pour ce qui constitue un « bon modèle » ou comment les modèles devraient être évalués formellement. L'objectif de cet article est d'identifier, d'examiner et de consolider les lignes directrices existantes sur l'utilisation de la modélisation analytique décisionnelle aux fins de l'ETS et de développer un cadre cohérent par rapport auquel la qualité des modèles peut être évaluée. L'examen et le cadre qui en résulte sont résumés sous les trois thèmes clés de la structure, des données et de la cohérence. Les aspects « structurels » concernent la portée et la structure mathématique du modèle, y compris les stratégies en cours d'évaluation. Les questions couvertes sous le titre général de « Données » comprennent les méthodes d'identification des données et la manière dont l'incertitude doit être traitée. La « cohérence » se rapporte à la qualité globale du modèle. L'examen des lignes directrices existantes a montré que même si les auteurs peuvent fournir un message cohérent concernant certains aspects de la modélisation, tels que le besoin de transparence, ils sont contradictoires dans d'autres domaines. Les domaines particuliers de désaccord portent sur la manière dont les données doivent être incorporées dans les modèles et la manière dont l'incertitude doit être évaluée. À des fins d'évaluation, le cadre résultant est appliqué à un modèle d'analyse décisionnelle développé dans le cadre d'une évaluation pour le National Institute for Health and Clinical Excellence (NICE) au Royaume-Uni. À titre d'évaluation supplémentaire, l'examen basé sur le cadre est comparé à une évaluation fournie par un modélisateur expérimenté indépendant n'utilisant pas le cadre. On espère que le cadre développé ici pourra faire partie du processus d'évaluation des organismes d'évaluation tels que NICE et des modèles de décision soumis à des revues à comité de lecture. Cependant, étant donné la rapidité avec laquelle la méthodologie de modélisation décisionnelle progresse, sa mise à jour continue est nécessaire.


Politiques d'examen par les pairs du gouvernement américain [ modifier | modifier la source]

La plupart des organismes de réglementation fédéraux du gouvernement des États-Unis doivent se conformer à des exigences spécifiques d'examen par les pairs avant que les organismes ne diffusent publiquement certaines informations scientifiques. Ces exigences ont été publiées dans un bulletin d'examen par les pairs publié par le Bureau de la gestion et du budget de la Maison Blanche (« OMB »), qui établit des « normes à l'échelle du gouvernement concernant le moment où l'examen par les pairs est requis et, le cas échéant, le type de processus d'examen par approprié."

Le bulletin d'examen par les pairs de l'OMB exige que les organismes de réglementation fédéraux américains soumettent toutes les « informations scientifiques influentes » à un examen par les pairs avant que les informations ne soient diffusées publiquement. Le Bulletin définit « l'information scientifique » comme :

« entrées factuelles, données, modèles, analyses, informations techniques ou évaluations scientifiques liées à des disciplines telles que les sciences comportementales et sociales, la santé publique et les sciences médicales, les sciences de la vie et de la terre, l'ingénierie ou les sciences physiques ».

Le bulletin d'examen par les pairs de l'OMB définit « l'information scientifique influente » comme

« les informations scientifiques que l'agence peut raisonnablement déterminer auront ou auront un impact clair et substantiel sur les politiques publiques importantes ou les décisions du secteur privé. les lignes directrices sur la qualité de l'information et les lignes directrices sur la qualité de l'information de l'agence. »

Comme indiqué dans la citation précédente, le bulletin d'examen par les pairs doit être lu en conjonction avec les « lignes directrices sur la qualité de l'information à l'échelle du gouvernement de l'OMB et les lignes directrices sur la qualité de l'information de l'agence ». Ces directives régissent la qualité de toutes les informations diffusées par la plupart des organismes de réglementation du gouvernement américain. Ces directives sont requises par une loi américaine promulguée en 2001 appelée Data Quality Act et également connue sous le nom d'Information Quality Act (« IQA »). L'OMB déclare qu'elle a préparé le bulletin d'examen par les pairs conformément à l'autorité de l'OMB en vertu de la DQA.

Le bulletin d'examen par les pairs fournit des directives détaillées pour l'examen par les pairs d'informations scientifiques influentes. Le Bulletin applique des exigences d'examen par les pairs plus strictes aux « évaluations scientifiques hautement influentes »

« qui constituent un sous-ensemble d'informations scientifiques influentes. Une évaluation scientifique est une évaluation d'un ensemble de connaissances scientifiques ou techniques qui synthétise généralement plusieurs entrées factuelles, données, modèles, hypothèses et/ou applique le meilleur jugement professionnel pour combler les incertitudes dans les données disponibles. informations."

Bien que les lignes directrices spécifiques du Bulletin d'évaluation par les pairs ne soient pas discutées ici en détail, il convient de noter que les lignes directrices diffèrent à plusieurs égards des pratiques traditionnelles d'évaluation par les pairs dans la plupart des revues. Par exemple, le Bulletin exige la divulgation publique de l'identité des pairs examinateurs lorsqu'ils examinent des évaluations scientifiques très influentes. Le résumé du Bulletin de certaines de ces exigences est présenté ci-dessous :

« En général, une agence procédant à l'examen par les pairs d'une évaluation scientifique très influente doit s'assurer que le processus d'examen par les pairs est transparent en mettant à la disposition du public les frais écrits aux examinateurs, les noms des examinateurs, le rapport des examinateurs (s) et la réponse de l'agence au(x) rapport(s) des pairs évaluateurs. . Ce bulletin exige des agences qu'elles adoptent ou adaptent les politiques de sélection des comités employées par la National Academy of Sciences (NAS)."

Le bulletin d'examen par les pairs aborde spécifiquement l'effet de la publication dans une revue scientifique à comité de lecture ainsi que les variations et les limites de l'examen par les pairs :


Conclusion

Une évaluation par les pairs est un moyen important d'obtenir les commentaires des membres de votre équipe. Il fournit également des informations utiles qui peuvent être utilisées pour stimuler davantage la croissance et le développement organisationnels.

Lorsque vous effectuez une évaluation par les pairs, quelle qu'elle soit, n'oubliez pas de maintenir un haut niveau de professionnalisme. Posez des questions qui encouragent les commentaires honnêtes des employés. Ne pas écureuil ou poser des questions avec des réponses prédéterminées.

Plus important encore, utilisez des outils de travail qui vous aident à recueillir et à traiter efficacement les commentaires. Formplus propose de nombreux modèles de formulaires pour la collecte et le traitement des informations.

Vous pouvez également créer des formulaires personnalisés pour votre organisation à l'aide du générateur Formplus.


Améliorer l'évaluation par les pairs : ce que les évaluateurs peuvent faire

Robert J. DiDomenico, Pharm.D., BCPS-AQ Cardiology, FCCP, FHFSA, William L. Baker, Pharm.D., FCCP, FACC, FAHA, Stuart T. Haines, Pharm.D., FASHP, FCCP, FAPhA , Améliorer l'évaluation par les pairs : ce que les évaluateurs peuvent faire, American Journal of Health-System Pharmacy, Volume 74, Numéro 24, 15 décembre 2017, Pages 2080-2084, https://doi.org/10.2146/ajhp170190

En tant qu'auteur, il n'y a pas de meilleur sentiment que de recevoir une correspondance d'un éditeur de revue indiquant que votre article a été accepté pour publication. Cependant, ce sentiment d'exaltation peut rapidement se transformer en effroi si l'auteur doit répondre à des dizaines, voire des centaines, de commentaires de pairs évaluateurs. Nous avons observé que la qualité des évaluations par les pairs a diminué au cours de la dernière décennie et que leur orientation est souvent erronée, mettant l'accent sur la grammaire et le style plutôt que sur la science et la méthodologie. Ce commentaire fournit des conseils aux évaluateurs sur les meilleures pratiques pour mener une évaluation par les pairs pour les revues biomédicales.

Avantages d'être un évaluateur par les pairs. Se porter volontaire pour être évaluateur par les pairs est une première étape importante dans le processus d'évaluation par les pairs. Les évaluateurs sont généralement identifiés en fonction de leur expertise dans un domaine particulier. Les pairs examinateurs profitent aux auteurs, aux éditeurs et aux revues en fournissant des conseils utiles liés à un travail universitaire, en évaluant la méthodologie et l'importance de la science et en faisant des recommandations concernant les décisions de publication. 1 , 2 Il y a aussi des avantages à servir en tant que pairs évaluateurs. Il s'agit notamment de se tenir au courant des derniers développements dans leur domaine et d'améliorer leurs compétences pour évaluer de manière critique les articles scientifiques, ce qui peut améliorer leur propre rédaction scientifique. Enfin, c'est un honneur et un privilège d'être membre d'une profession. Ainsi, il existe une obligation morale de redonner à sa communauté professionnelle et scientifique. 3 , 4 Pour ces raisons, la participation à l'évaluation par les pairs est une attente professionnelle dans de nombreux contextes.

Caractéristiques d'un bon évaluateur par les pairs. La plupart des revues biomédicales utilisent les commentaires fournis au cours du processus d'examen par les pairs pour prendre des décisions éditoriales sur les manuscrits soumis pour publication. En règle générale, les éditeurs de revues à comité de lecture recherchent des experts en contenu pour effectuer une analyse critique du manuscrit et fournir (1) des commentaires spécifiques concernant le mérite scientifique du manuscrit, (2) des recommandations aux auteurs sur la façon d'améliorer le manuscrit, et (3) des recommandations à l'éditeur concernant la disposition du manuscrit. Les invitations à devenir évaluateur par les pairs sont souvent accompagnées de liens Web vers des ressources d'évaluateur (p.

Les caractéristiques d'un bon évaluateur par les pairs ne sont pas bien définies. Bien que plusieurs études aient tenté d'identifier les caractéristiques qui prédisent la performance des évaluateurs, les résultats sont peu cohérents et les associations sont faibles. 5 , – 9 L'âge plus jeune de l'évaluateur est l'une des seules caractéristiques qui ont été systématiquement associées à des évaluations par les pairs plus solides. 5 , – 8 Certains chercheurs ont trouvé une association positive entre la durée de la révision de l'article (jusqu'à 3 heures) et la qualité de la révision. 5 , 7

La qualité de l'examen par les pairs varie considérablement, peut-être en partie parce que peu de professionnels reçoivent une formation dans ce domaine. 1 , 10 Cependant, la formation formelle à elle seule n'affecte probablement que marginalement la qualité des évaluations par les pairs. Les chercheurs qui ont mené une étude de plus de 300 examinateurs qui ont effectué 2 856 examens pour le Annales de médecine d'urgence n'ont pas trouvé d'association entre plus de 10 heures de formation en compétences d'évaluation critique et la qualité de l'examen. 6 Cependant, un BMJ Une étude portant sur 609 évaluateurs a trouvé un petit avantage à court terme (<6 mois) associé à la participation à un programme de formation d'évaluateurs par les pairs. 9 Néanmoins, la variation de la qualité des évaluations par les pairs suggère que les évaluateurs par les pairs peuvent bénéficier de certaines orientations.

Ce que les évaluateurs peuvent faire : une approche étape par étape. Bien que d'autres approches soient acceptables, nous recommandons un processus étape par étape pour les pairs évaluateurs ( Figure 1). Quelle que soit l'approche utilisée, les meilleures évaluations par les pairs sont systématiques et complètes.

Processus étape par étape pour effectuer une évaluation par les pairs. 1 , – 4 , 10 , – 13

Processus étape par étape pour effectuer une évaluation par les pairs. 1 , – 4 , 10 , – 13

Répondre à l'invitation à effectuer une évaluation par les pairs. Les pairs évaluateurs doivent considérer plusieurs questions avant de décider d'accepter ou de refuser une invitation à effectuer une évaluation par les pairs. Les évaluateurs doivent d'abord évaluer s'ils sont qualifiés pour réviser le manuscrit. 2 , 10 , 11 Les réviseurs reçoivent généralement un résumé du manuscrit avec l'invitation à réviser. Les évaluateurs ne doivent accepter les invitations à réviser que s'ils ont une expertise dans le domaine d'intérêt du manuscrit. Dans certains cas, le réviseur peut avoir l'expertise pour réviser une section clé du manuscrit (par exemple, la méthodologie de recherche, l'analyse statistique) mais pas d'autres sections.Dans ce cas, l'examinateur doit être clair sur la portée de l'examen avant d'accepter l'invitation. 2 , 10

Si le manuscrit relève du domaine d'expertise du réviseur, des conflits d'intérêts potentiels ou réels doivent être pris en compte. 2 , 10 , 11 Les conflits potentiels entre les évaluateurs peuvent inclure des relations personnelles étroites (par exemple, le conjoint) ou professionnelles (par exemple, mentor-mentoré, collègue institutionnel) avec un ou plusieurs des auteurs. 10 , 11 En outre, la présence d'intérêts conflictuels ou concurrents qui peuvent créer un potentiel d'avantage personnel, financier, intellectuel, professionnel, politique ou religieux pour l'examinateur peut être considérée comme un conflit d'intérêts. 2 , 10 , 11 Les évaluateurs devraient se poser cette question simple mais puissante : les autres (auteurs, éditeurs ou lecteurs) croiraient-ils que ma critique positive ou négative de cet article est de quelque manière que ce soit motivée par l'intérêt personnel ? Si la réponse est oui, il est essentiel de discuter du conflit potentiel avec l'éditeur avant d'accepter l'invitation à réviser. 2 , 10 , 11

Le respect des délais est d'une importance cruciale pour le processus d'examen par les pairs. Pour éviter des retards inutiles dans le processus de publication, le réviseur doit tenir compte de sa capacité à respecter la date limite fixée par la revue pour terminer la révision avant d'accepter l'invitation. 2 , 10 , 11 Une évaluation par les pairs de qualité peut prendre plusieurs heures. 3 , 5 , 7 , 10 Les évaluateurs disposent généralement de 2 semaines pour terminer leur évaluation par les pairs, bien que le délai puisse être aussi bref que 48 heures et aussi long que 4 semaines. 11 Les évaluateurs doivent répondre aux invitations d'examen par les pairs en temps opportun, surtout si l'invitation est refusée. 2 , 12 Dans certains cas, les revues annuleront leurs invitations si une réponse rapide (par exemple, dans les 3 à 4 jours) n'est pas reçue. Tout au long du processus, les évaluateurs doivent maintenir la confidentialité et ne doivent jamais faire circuler le manuscrit ou discuter de son contenu avec d'autres. 1 , 12 Si les évaluateurs souhaitent inclure d'autres personnes (par exemple, des stagiaires) dans le processus d'évaluation par les pairs, une autorisation doit être demandée pour le faire, ou au minimum, l'éditeur doit être informé lorsque la critique est soumise. 2 , 12

Réaliser l'examen par les pairs. Lecture rapide. Beaucoup s'accordent à dire que la première étape d'une évaluation par les pairs consiste à effectuer une lecture rapide. 1 , 3 , 4 , 10 , 13 Au cours de cette première lecture, les évaluateurs doivent parcourir l'article pour acquérir une compréhension de base du contenu du manuscrit. 13 Au cours de la lecture rapide, les évaluateurs doivent à nouveau évaluer s'ils ont l'expertise nécessaire pour effectuer l'examen et s'il existe des conflits d'intérêts réels ou potentiels. Les réviseurs doivent informer immédiatement le rédacteur en chef si ces problèmes sont identifiés. 4 Les évaluateurs doivent noter les ambiguïtés et les questions qui surviennent au cours de la lecture rapide et commencer à se faire une opinion sur l'importance et la pertinence du travail. 3 , 10

Une autre raison importante pour la lecture rapide est d'identifier les défauts critiques ou « fatals » du manuscrit. 1 , 4 , 10 , 13 En général, les défauts d'un manuscrit peuvent être classés comme mineurs (ne nécessitent pas d'action de l'auteur), majeurs (nécessitent une résolution satisfaisante avant que la publication ne soit envisagée) et fatals (jugent le manuscrit, même avec des révisions majeures, irréparable ). 1, 10, 13 Si les évaluateurs identifient un défaut fatal lors de la lecture rapide, ils peuvent recommander de rejeter le manuscrit à ce stade, en renonçant à une lecture plus détaillée et à une critique écrite. 1 , 4 , 10 , 13 Des exemples courants de défauts de manuscrit sont répertoriés dans le tableau 1.

Défauts du manuscrit pouvant justifier une révision ou un rejet lors d'un examen par les pairs 1 , 10 , 13

Type de défaut. Caractéristiques .
Défauts mineurs Le style d'écriture est médiocre, le manque de clarté, l'organisation et la fluidité du manuscrit sont médiocres, les tableaux ou les figures dupliquent les informations dans le texte, les erreurs de référencement
Défauts majeurs La méthodologie omet les analyses qui peuvent affecter les résultats (par exemple, le contrôle des variables critiques), les méthodes sont mal décrites, les tableaux de données ou les chiffres peu clairs, les données de confirmation qui ajoutent peu à la compréhension actuelle en l'absence d'arguments solides justifiant la répétition, des recherches importantes ou pertinentes sont non cité, les limites sont mal reconnues, les conclusions sont surestimées ou contredites par les propres données de l'auteur
Des faiblesses fatales Consentement non obtenu en cas de besoin, méthodes non éthiques, méthodologie discréditée, méthodologie défectueuse conduisant à des résultats non concluants ou inexacts (par exemple, ignore un processus connu pour influencer fortement le sujet d'intérêt)
Type de défaut. Caractéristiques .
Défauts mineurs Le style d'écriture est médiocre, le manque de clarté, l'organisation et la fluidité du manuscrit sont médiocres, les tableaux ou les figures dupliquent les informations dans le texte, les erreurs de référencement
Défauts majeurs La méthodologie omet les analyses qui peuvent affecter les résultats (par exemple, le contrôle des variables critiques), les méthodes sont mal décrites, les tableaux de données ou les chiffres peu clairs, les données de confirmation qui ajoutent peu à la compréhension actuelle en l'absence d'arguments solides justifiant la répétition, des recherches importantes ou pertinentes sont non cité, les limites sont mal reconnues, les conclusions sont surestimées ou contredites par les propres données de l'auteur
Des faiblesses fatales Consentement non obtenu en cas de besoin, méthodes non éthiques, méthodologie discréditée, méthodologie défectueuse conduisant à des résultats non concluants ou inexacts (par exemple, ignore un processus connu pour influencer fortement le sujet d'intérêt)

Défauts du manuscrit pouvant justifier une révision ou un rejet lors d'un examen par les pairs 1 , 10 , 13

Type de défaut. Caractéristiques .
Défauts mineurs Le style d'écriture est médiocre, le manque de clarté, l'organisation et la fluidité du manuscrit sont médiocres, les tableaux ou les figures dupliquent les informations dans le texte, les erreurs de référencement
Défauts majeurs La méthodologie omet les analyses qui peuvent affecter les résultats (par exemple, le contrôle des variables critiques), les méthodes sont mal décrites, les tableaux de données ou les chiffres peu clairs, les données de confirmation qui ajoutent peu à la compréhension actuelle en l'absence d'arguments solides justifiant la répétition, des recherches importantes ou pertinentes sont non cité, les limites sont mal reconnues, les conclusions sont surestimées ou contredites par les propres données de l'auteur
Des faiblesses fatales Consentement non obtenu en cas de besoin, méthodes non éthiques, méthodologie discréditée, méthodologie défectueuse conduisant à des résultats non concluants ou inexacts (par exemple, ignore un processus connu pour influencer fortement le sujet d'intérêt)
Type de défaut. Caractéristiques .
Défauts mineurs Le style d'écriture est médiocre, le manque de clarté, l'organisation et la fluidité du manuscrit sont médiocres, les tableaux ou les figures dupliquent les informations dans le texte, les erreurs de référencement
Défauts majeurs La méthodologie omet les analyses qui peuvent affecter les résultats (par exemple, le contrôle des variables critiques), les méthodes sont mal décrites, les tableaux de données ou les chiffres peu clairs, les données de confirmation qui ajoutent peu à la compréhension actuelle en l'absence d'arguments solides justifiant la répétition, des recherches importantes ou pertinentes sont non cité, les limites sont mal reconnues, les conclusions sont surestimées ou contredites par les propres données de l'auteur
Des faiblesses fatales Consentement non obtenu en cas de besoin, méthodes non éthiques, méthodologie discréditée, méthodologie défectueuse conduisant à des résultats non concluants ou inexacts (par exemple, ignore un processus connu pour influencer fortement le sujet d'intérêt)

Lecture détaillée. Après la lecture rapide, les évaluateurs doivent effectuer une lecture critique plus détaillée du manuscrit. 3 , 4 , 10 , 13 Certains chercheurs ont suggéré que cela se produise des heures voire des jours après la première lecture, car cela peut permettre au réviseur de mieux se préparer à une lecture plus critique en examinant les documents auxiliaires (par exemple, les instructions du réviseur, les figures, les tableaux, fichiers supplémentaires). 2 , 3 , 13 Le but principal de la lecture détaillée est de déterminer les mérites scientifiques et la pertinence du manuscrit. 3 , 4 , 13 Pour aider à formuler cette évaluation, les évaluateurs doivent se poser 3 questions sur le manuscrit : Est-ce que je le comprends ? Est-ce que je le crois ? Est-ce que j'en ai quelque chose à faire? 11 Les manuscrits doivent énoncer clairement la question de recherche ou le problème clinique, puis décrire comment le travail scientifique a été mené. Si des méthodes valides sont utilisées et que les conclusions sont étayées par les données, les résultats devraient être crédibles. Enfin, si l'ouvrage est original, la question ou le problème important, ou l'intervention innovante, il doit stimuler l'intérêt du réviseur et des lecteurs. Les évaluateurs doivent également noter les ambiguïtés et les questions qui surviennent au cours de leur examen détaillé et fournir des suggestions d'amélioration. 3 , 4 , 13 Il est important de noter que le réviseur ne doit pas se concentrer sur la langue, le style d'écriture et la grammaire, à moins que ceux-ci n'affectent la clarté d'un point particulier ou que la fréquence de ces problèmes n'affecte de manière significative la lisibilité globale du manuscrit. 3 , 4 , 11 , 13 Dans de tels cas, le réviseur ne doit pas tenter de réécrire l'article pour les auteurs, mais plutôt souligner les sections du manuscrit qui doivent être traitées.

La lecture détaillée doit évaluer tous les aspects du manuscrit, y compris le titre, les mots-clés, le résumé, l'introduction, les méthodes, les résultats, la discussion, la conclusion, les graphiques, les tableaux, les figures et les références. La plupart des défauts mineurs et majeurs (tableau 1) sont identifiés lors de cette lecture plus critique. Pour les manuscrits de recherche, les défauts du manuscrit se trouvent généralement dans la section des méthodes. Les évaluateurs doivent envisager d'utiliser un processus systématique (p. ex., R andomisé, Attrition, Mesure par des évaluateurs aveugles ou des mesures objectives [RAMbo]) ou suivre les directives de déclaration lors de l'évaluation critique des essais cliniques randomisés (p. ex., CONsolidated Standards of Reporting Trials [CONSORT] ) ou des méta-analyses (p. ex., QUality Of Reporting Of Meta-analyses [QUORUM]), en particulier pour les évaluateurs ayant une expérience limitée. 1 , 4 , 14 , – 16 Lors de l'évaluation de la section de conclusion, les évaluateurs doivent s'assurer que les auteurs n'exagèrent pas leurs conclusions et identifier les déclarations qui peuvent être perçues comme biaisées. Bien qu'il ne s'agisse pas d'une liste exhaustive, le tableau 2 énumère les caractéristiques des manuscrits de qualité dignes d'acceptation. Les réviseurs ne devraient pas avoir peur de recommander l'acceptation ou le rejet conditionnel des manuscrits qui, selon eux, présentent des défauts importants ou sont insuffisamment uniques ou importants.

Caractéristiques des manuscrits de qualité dignes d' acceptation 1 , 3 , 4 , 10 , 11 , 14

Section de manuscrit. Caractéristiques .
Titre, mots-clés, résumé Le titre est succinct et indique clairement la nature du travail scientifique, le résumé résume de manière appropriée et précise le contenu du manuscrit, aucune nouvelle information n'est introduite
introduction Résume les développements récents dans le domaine d'intérêt met en évidence les lacunes existantes dans les connaissances clarifie l'originalité, la nouveauté et l'importance du travail
Méthodes Suit des normes acceptables ou utilise une nouvelle technique qui améliore la force de la recherche, les approches utilisées sont suffisamment décrites pour permettre la réplication du travail scientifique
résultats et discussion Résumer les données de manière cohérente, l'importance décrite dans le contexte des connaissances actuelles, les limites et les lacunes qui subsistent sont décrites de manière appropriée
Conclusion succinct, réfléchit sur les objectifs du manuscrit, en cohérence avec les données
Graphiques, tableaux, figures, références Compléter les données du texte, ne pas répéter ni contredire les données du texte, littérature pertinente citée
Section de manuscrit. Caractéristiques .
Titre, mots-clés, résumé Le titre est succinct et indique clairement la nature du travail scientifique, le résumé résume de manière appropriée et précise le contenu du manuscrit, aucune nouvelle information n'est introduite
introduction Résume les développements récents dans le domaine d'intérêt met en évidence les lacunes existantes dans les connaissances clarifie l'originalité, la nouveauté et l'importance du travail
Méthodes Suit des normes acceptables ou utilise une nouvelle technique qui améliore la force de la recherche, les approches utilisées sont suffisamment décrites pour permettre la réplication du travail scientifique
résultats et discussion Résumer les données de manière cohérente, l'importance décrite dans le contexte des connaissances actuelles, les limites et les lacunes qui subsistent sont décrites de manière appropriée
Conclusion succinct, réfléchit sur les objectifs du manuscrit, en cohérence avec les données
Graphiques, tableaux, figures, références Compléter les données du texte, ne pas répéter ni contredire les données du texte, littérature pertinente citée

Caractéristiques des manuscrits de qualité dignes d' acceptation 1 , 3 , 4 , 10 , 11 , 14

Section de manuscrit. Caractéristiques .
Titre, mots-clés, résumé Le titre est succinct et indique clairement la nature du travail scientifique, le résumé résume de manière appropriée et précise le contenu du manuscrit, aucune nouvelle information n'est introduite
introduction Résume les développements récents dans le domaine d'intérêt met en évidence les lacunes existantes dans les connaissances clarifie l'originalité, la nouveauté et l'importance du travail
Méthodes Suit des normes acceptables ou utilise une nouvelle technique qui améliore la force de la recherche, les approches utilisées sont suffisamment décrites pour permettre la réplication du travail scientifique
résultats et discussion Résumer les données de manière cohérente, l'importance décrite dans le contexte des connaissances actuelles, les limites et les lacunes qui subsistent sont décrites de manière appropriée
Conclusion succinct, réfléchit sur les objectifs du manuscrit, en cohérence avec les données
Graphiques, tableaux, figures, références Compléter les données du texte, ne pas répéter ni contredire les données du texte, littérature pertinente citée
Section de manuscrit. Caractéristiques .
Titre, mots-clés, résumé Le titre est succinct et indique clairement la nature du travail scientifique, le résumé résume de manière appropriée et précise le contenu du manuscrit, aucune nouvelle information n'est introduite
introduction Résume les développements récents dans le domaine d'intérêt met en évidence les lacunes existantes dans les connaissances clarifie l'originalité, la nouveauté et l'importance du travail
Méthodes Suit des normes acceptables ou utilise une nouvelle technique qui améliore la force de la recherche, les approches utilisées sont suffisamment décrites pour permettre la réplication du travail scientifique
résultats et discussion Résumer les données de manière cohérente, l'importance décrite dans le contexte des connaissances actuelles, les limites et les lacunes qui subsistent sont décrites de manière appropriée
Conclusion succinct, réfléchit sur les objectifs du manuscrit, en cohérence avec les données
Graphiques, tableaux, figures, références Compléter les données du texte, ne pas répéter ni contredire les données du texte, littérature pertinente citée

Numérisation finale. Les réviseurs doivent effectuer une analyse finale du manuscrit, en se concentrant sur l'organisation, le flux et d'autres problèmes qui affectent la clarté. 10 Les évaluateurs doivent garder à l'esprit que leur évaluation du mérite scientifique du manuscrit est plus précieuse pour les éditeurs de revues que leur évaluation de la grammaire et du style d'écriture. 3 , 4 , 10 , 13 La dernière lecture rapide offre également au réviseur l'occasion de mettre en évidence les défauts mineurs (tableau 1) et de proposer des suggestions d'amélioration. 1

Critique écrite. Les évaluateurs doivent préparer leur critique écrite aux éditeurs de la revue en résumant d'abord le manuscrit, puis en fournissant des commentaires spécifiques liés aux défauts identifiés. 4, 10, 11, 13 Bien que certains évaluateurs utilisent le premier paragraphe de la critique écrite pour résumer le contenu et les conclusions du manuscrit, nous suggérons que ce résumé se concentre sur l'analyse globale du manuscrit par l'évaluateur. 4 , 10 , 11 , 13 Lorsqu'ils fournissent leur analyse globale du manuscrit, les évaluateurs doivent souligner les points forts, souligner les défauts importants et commenter l'importance ou la signification du travail. 4 , 10 , 11 , 13 Tout au long de la critique, les évaluateurs doivent être honnêtes et directs, mais attentionnés lorsqu'ils fournissent des commentaires aux auteurs. 1 , 13 Les problèmes grammaticaux identifiés par le réviseur qui sont omniprésents (par exemple, de nombreuses fautes d'orthographe) doivent être résumés, en laissant un examen détaillé de la grammaire, de l'orthographe et du style d'écriture aux réviseurs et au personnel technique de la revue. 4 , 10 , 11 , 13 Le résumé doit équilibrer les commentaires à la fois positifs et constructifs cohérents avec l'évaluation globale du manuscrit (par exemple, la majorité des commentaires doivent être positifs si la recommandation est d'accepter ou d'accepter avec des révisions mineures). 4 , 10 , 11 , 13 Si un examinateur n'a examiné que des parties spécifiques du manuscrit, ce fait doit être clairement indiqué dans le résumé d'ouverture. 2

Après le résumé, les évaluateurs doivent fournir des commentaires spécifiques liés à chaque section du manuscrit. Les évaluateurs doivent organiser leurs commentaires de manière logique et les numéroter. 10 , 11 , 13 De plus, les évaluateurs doivent préciser où dans le manuscrit (par exemple, les numéros de page et de ligne) les commentaires sont dirigés. 13 De nombreux relecteurs négligent de fournir des commentaires sur le titre et le résumé, mais ce sont peut-être les éléments les plus importants du manuscrit. De nombreux lecteurs liront ou n'auront accès qu'au titre et au résumé lors d'une recherche documentaire. Il est utile pour les auteurs et les éditeurs d'indiquer si un commentaire identifie un problème majeur qui doit être traité ou est simplement une recommandation (c'est-à-dire un problème mineur). 4 , 13 Étant donné que l'un des objectifs de l'examen par les pairs est d'améliorer la qualité des manuscrits, les commentaires des examinateurs doivent être objectifs et constructifs, avec des suggestions concrètes pour corriger les défauts. 2 , 4 , 10 , 11, 13 Étant donné que la classification des défauts d'un manuscrit est subjective, si les examinateurs déterminent qu'il existe un défaut fatal, une explication de la raison pour laquelle le manuscrit est irréparable est justifiée. 1 , 10 , 13 Le cas échéant, les commentaires doivent être étayés par des preuves (par exemple, de la littérature à l'appui) pour aider les éditeurs dans leur décision et les auteurs dans leurs révisions. 2 , 4 , 10 Lorsqu'une déclaration dans le manuscrit est ambiguë et peut prêter à confusion pour le lecteur, le réviseur peut proposer des suggestions spécifiques pour améliorer la clarté. 4 , 10 , 11 , 13 Les évaluateurs doivent s'abstenir de divulguer leur recommandation de publication aux auteurs dans la critique. La responsabilité de déterminer la disposition du manuscrit incombe aux éditeurs de la revue.

Les réviseurs sont souvent invités à fournir des commentaires confidentiels aux éditeurs. Ces commentaires doivent inclure une brève explication pour justifier la recommandation de publication du réviseur. 13 D'autres commentaires confidentiels que les évaluateurs peuvent souhaiter inclure sont des opinions sans fard sur des aspects spécifiques du manuscrit, des préoccupations concernant l'éthique (par exemple, plagiat, fraude, pratiques de recherche contraires à l'éthique) et la reconnaissance des personnes qui peuvent avoir aidé à mener l'examen. 1 , 4 , 11 , 13

Recommandation de publication. Dans la plupart des cas, les évaluateurs sont invités à fournir leurs recommandations concernant la publication comme suit : accepter, accepter avec des révisions ou rejeter.Certaines revues distinguent « accepter avec des révisions mineures » de « accepter avec des révisions majeures ». En général, les manuscrits bien écrits, nouveaux, scientifiquement puissants et pertinents pour les lecteurs de la revue méritent d'être acceptés. 3 , 11 Les manuscrits qui ne satisfont pas à ces critères doivent être considérés pour acceptation conditionnelle (révisions en attente) ou rejet. 3 Les manuscrits avec seulement des défauts mineurs doivent être recommandés pour une acceptation conditionnelle (accepter avec des révisions ou accepter avec des révisions mineures) étant entendu que les suggestions du réviseur pour améliorer le manuscrit sont discrétionnaires et peuvent finalement être ignorées par les auteurs. 4 , 10 En revanche, les manuscrits présentant des défauts majeurs ne devraient être recommandés pour une acceptation conditionnelle (accepter avec révisions ou accepter avec révisions majeures) que si les auteurs répondent de manière satisfaisante aux préoccupations des évaluateurs. 1 , 4 , 10 Lorsqu'ils délibèrent sur leur recommandation de publication, les évaluateurs doivent donner la priorité aux travaux innovants pouvant présenter des défauts méthodologiques (mineurs ou majeurs) par rapport aux manuscrits purement confirmatifs ou susceptibles de ne pas intéresser le lectorat de la revue. 4 L'utilisation de méthodes de recherche contraires à l'éthique, qui ne suivent pas les normes contemporaines (par exemple, des méthodes obsolètes ou discréditées) ou qui ne peuvent pas être reproduites est un motif pour recommander le rejet d'un manuscrit. 1 , 11 , 13

Conclusion. La qualité des évaluations par les pairs varie considérablement et est souvent erronée, ce qui entraîne des défis pour les éditeurs de revues et des frustrations pour les auteurs. L'utilisation d'une approche par étapes lors de la conduite d'un examen par les pairs peut améliorer la qualité des examens, conduisant finalement à des articles de haute qualité pour la publication.


Étapes et normes d'un examen systématique

Une revue systématique commence par une question clairement définie accompagnée de critères d'inclusion et d'exclusion établis.

Une fois que vous avez une idée initiale, recherchez la littérature déjà publiée sur le sujet. S'il existe déjà un article de revue systématique, une autre revue sur le même sujet n'est pas nécessaire. De plus, l'examen des revues systématiques publiées peut vous aider à mieux formuler votre propre question de recherche.

Si vous trouvez un article de recherche qui correspond à votre sujet, enregistrez-le. Les articles qui illustrent votre sujet de recherche sont appelés articles « gold-standard » et sont utilisés comme exemples pendant le processus de recherche (étape 3).

Bases de données pour rechercher des avis déjà publiés

    (Gratuit) : Une stratégie de recherche pour récupérer les citations identifiées comme des revues systématiques ou des méta-analyses. (NetID requis) : son onglet EBM peut aider à trouver des revues systématiques ou des méta-analyses. (Gratuit) : Un outil pour trouver des revues systématiques à l'aide de PICO (Population, Intervention, Comparison, and Outcome) (NetID requis) : La ressource comprend le texte intégral des revues systématiques régulièrement mises à jour des effets des soins de santé préparées par The Cochrane Collaboration.

Qu'est-ce qu'un protocole de revue systématique ?

Basé sur Cochrane, il s'agit d'un plan prédéfini et de l'approche proposée pour une revue systématique. Il décrit la question que les auteurs de la revue abordent, détaillant les critères selon lesquels les études seront évaluées pour inclusion dans la revue et décrivant comment les auteurs géreront le processus de revue. Le protocole sert également de notification de vos plans aux autres chercheurs, afin que personne ne tente le même projet. Il est fortement suggéré d'enregistrer votre protocole de revue systématique une fois qu'il est rédigé. L'objectif de l'enregistrement d'une revue systématique est de réduire les biais de publication, d'améliorer la transparence et d'éviter la duplication des efforts.

Un bon moyen de vous familiariser avec la rédaction de protocoles de recherche de revues systématiques est de jeter un œil à ceux enregistrés sur PROSPERO, le registre prospectif international des revues systématiques. Une fois que vous avez rédigé une ébauche de votre protocole, faites-la réviser par une personne extérieure à votre équipe de recherche. S'il est enregistré dans PROSPERO, il sera également ouvert à l'examen par les pairs d'autres chercheurs.

Les informations clés pour la rédaction d'un protocole de revue systématique comprennent :

  • Une question de recherche comprenant les patients et la population, l'intervention ou l'exposition, la comparaison (le cas échéant) et les résultats.
  • Bases de données utilisées pour les recherches et la stratégie de recherche
  • Critères d'inclusion et d'exclusion.
  • Méthodes utilisées pour évaluer le risque de biais.
  • Méthode d'extraction des données (sélection et formulaire de codage).
  • Méthode d'analyse des données, y compris l'analyse statistique, le cas échéant.
  • Date de début prévue ou réelle.
  • Former une équipe de revue systématique et des informations sur les membres de l'équipe.
  • Revoir le calendrier du projet.
  • Sources de financement/sponsors
  • Conflit d'interêts.
  • Date d'enregistrement.

Outre PROSPERO, il existe d'autres organisations pour lesquelles vous pouvez rechercher un protocole de revue systématique enregistré :


Processus efficaces d'évaluation par les pairs : résultats de la recherche et orientations futures

Malgré la popularité de l'évaluation par les pairs (AP), les lacunes dans la littérature rendent difficile la description exacte de ce qui constitue une AP efficace. Dans une revue de la littérature, nous avons divisé l'AP en variables, puis nous avons étudié leur interdépendance. Nous avons constaté que (a) les qualités psychométriques des AP sont améliorées par la formation et l'expérience des pairs évaluateurs (b) le développement des compétences spécifiques au domaine bénéficie de la révision basée sur les AP (c) le développement des compétences des AP bénéficie de la formation et est liés au style de pensée et à la réussite scolaire des élèves, et (d) les attitudes des élèves envers l'AP sont positivement influencées par la formation et l'expérience. Nous concluons par des recommandations pour de futures recherches.


Quelles sont les lignes directrices éthiques pour les pairs évaluateurs?

Tous les pairs évaluateurs doivent suivre ces directives éthiques pour les articles de revues Taylor & Francis en cours de révision :

  • Les évaluateurs doivent accorder une considération impartiale à chaque manuscrit soumis. Ils doivent juger chacun sur ses mérites, sans égard à la race, la religion, la nationalité, le sexe, l'ancienneté ou l'affiliation institutionnelle du ou des auteurs.
  • Les réviseurs doivent déclarer tout conflit d'intérêts avant d'accepter de réviser un manuscrit. Cela inclut toute relation avec l'auteur qui peut biaiser leur critique.
  • Les examinateurs doivent garder le processus d'examen par les pairs confidentiel. Ils ne doivent pas partager d'informations ou de correspondance sur un manuscrit avec quiconque en dehors du processus d'examen par les pairs.
  • Les examinateurs doivent fournir un rapport d'examen par les pairs constructif, complet, étayé et suffisamment substantiel.
  • Les examinateurs doivent éviter de faire des déclarations dans leur rapport qui pourraient être interprétées comme portant atteinte à la réputation de toute personne.
  • Les évaluateurs doivent faire tous les efforts raisonnables pour soumettre leur rapport et leur recommandation à temps. Ils doivent informer l'éditeur si cela n'est pas possible.
  • Les évaluateurs doivent attirer l'attention du rédacteur en chef de la revue sur toute similitude significative entre le manuscrit examiné et tout article publié ou manuscrit soumis dont ils ont connaissance.

Taylor & Francis recommandent que les évaluateurs adhèrent également aux lignes directrices éthiques du COPE pour les évaluateurs pairs.

Lisez les principales conclusions de notre recherche dans le livre blanc – Examen par les pairs : une vision globale


Voir la vidéo: Les Lignes Directrices de Gestion: mode demploi! (Décembre 2021).