Coalition for Advancing Research Assessment

Die Coalition for Advancing Research Assessment (Koalition zur Reform der Forschungsbewertung, CoARA) ist ein weltweiter Verbund von Forschungseinrichtungen und -organisationen, der sich zum Ziel gesetzt hat, einen Kulturwandel in der Forschungsbewertung zu erreichen. Dabei soll der Fokus auf einer qualitativen Bewertung mittels transparentem Peer Review liegen, die von einem „verantwortungsvollen Einsatz von quantitativen Indikatoren“ begleitet werden soll. Zur Anwendung kommen sollen neue Bewertungssysteme bei der Einstellung und Förderung von Forschern, bei der Frage, welche Forschungsprojekte finanziert werden sollen, bei der Ermittlung, welche Forschungsabteilungen und -einrichtungen zu fördern sind und bei der Vergabe von Preisen und Auszeichnungen. Statt auf die Länge von Publikationslisten oder die Höhe von Impact-Faktoren zu schauen, sollen vorab definierte, auf das jeweilige Stellenangebot oder Forschungsvorhaben bezogene Kompetenzen und Leistungen als Kriterien für die Qualität herangezogen werden. Die Unterstützer verpflichten sich dabei, die Vielfalt von Forschungsergebnissen und -tätigkeiten anzuerkennen und in den unterschiedlichen Bewertungskontexten angemessen zu berücksichtigen. Im Oktober 2024 hatte CoARA 698 Mitglieder aus aller Welt, darunter Forschungseinrichtungen, Förderorganisationen und Forschungsverbünde.^[1]

Am 8. Juli 2022 wurde das Agreement on Reforming Research Assessment (Vereinbarung zur Reform der Forschungsbewertung ARRA)^[2] veröffentlicht, das ab 28. September 2022 unterzeichnet werden konnte.^[3] Das Agreement wurde bis Oktober 2024 bereits von 796 Einrichtungen und Organisationen unterzeichnet.^[4]

Die Mitglieder und Unterzeichner verpflichten sich, schrittweise neue Vorgaben zur Forschungsbewertung zu implementieren^[5] und haben dazu zunächst ein Jahr nach Beitritt bzw. Unterzeichnung Zeit, einen Aktionsplan zu entwickeln. Für diesen wird den Organisationen relativ freie Hand gelassen, damit sie ihren individuellen Bedürfnissen Rechnung tragen können. Anschließend sollen sie über ihre Fortschritte berichten und mit anderen unterzeichnenden Organisationen darüber in Austausch treten. Spätestens 2027 oder fünf Jahre nach Unterzeichnung sollen sie ihre Bemühungen einem Reviewprozess unterzogen haben.

Im Dezember 2022 wurde CoARA offiziell gegründet und ein Lenkungsausschuss gewählt. Den Vorsitz des Ausschusses hat Rianne Letschert, Präsidentin der Universität Maastricht.

Der Prozess zur Reform der Forschungsbewertung wurde 2021 von der EU angestoßen. Die Initiative sieht sich als eine Weiterentwicklung von DORA, der San Francisco Declaration on Research Assessment. An der Erstellung der ARRA-Vereinbarung waren mehr als 350 Organisationen aus 40 Ländern beteiligt. Die Rückmeldungen der Beteiligten wurden gesammelt und von einem Team aus Vertretern der European University Association (EUA), Science Europe, der Europäischen Kommission unter der Federführung von Karen Stroobants ausgewertet. Die Ergebnisse wurden 2021 in dem Zwischenbericht Towards a reform of the research assessment system veröffentlicht.^[6]

Anschließend arbeitete eine Kerngruppe von 20 Forschungsorganisationen, die die Vielfalt der Forschungsgemeinschaft in ganz Europa repräsentieren sollen, den Entwurf aus. Die EU-Mitgliedstaaten und die assoziierten Länder wurden im Rahmen eines EFR-Forums und des Ausschusses für den Europäischen Raum für Forschung und Innovation (ERAC) zu der Vereinbarung konsultiert.^[7]

Zur Forschungsbewertung zählt die Koalition

• die Bewertung von Forschungseinrichtungen durch Forschungsförderer und Behörden zwecks Mittelverteilung
• die Bewertung von Forschungsprojekten durch Forschungsförderer und Behörden zwecks Mittelverteilung sowieso für die Entscheidung über Preise und Auszeichnungen
• die Bewertung einzelner Forscher und Forschungsteams durch Forschungseinrichtungen, Forschungsförderer und Behörden zum Zweck der Zuweisung von Fördermitteln, der Einstellung und Beförderung, der Überprüfung der beruflichen Entwicklung sowie Entscheidungen über Preise und Auszeichnungen

Die Forschungseinrichtungen und -organisationen haben die Möglichkeit, sich durch eine Mitgliedschaft in der Koalition^[8] sowie durch die Unterzeichnung des Agreements an CoARA zu beteiligen. Beide Beteiligungsformen sind mit der Erstellung von Aktionsplänen verbunden, die innerhalb von einem Jahr erstellt werden sollen. Diese Aktionspläne zeigen die Schritte auf, die unternommen werden, um die Forschungsbewertungsreform in der Institution oder Organisation umzusetzen. Die Aktionspläne werden auf dem Repositorium Zenodo öffentlich zugänglich gemacht. Mehrere deutsche Universitäten, Hochschulen und Verbünde haben bereits Aktionspläne veröffentlicht.^[9] Die Europäische Kommission hat ihren Action plan im April 2024 veröffentlicht,^[10] die Deutsche Forschungsgemeinschaft im Juni 2024.^[11]

Neben Arbeitsgruppen sind die CoARA-Mitglieder auch in nationalen Chaptern aktiv.^[12] Im März 2024 gründeten die deutschen Mitgliedsorganisationen der CoARA ein nationales Chapter, um deutschlandbezogene Themen der Forschungsbewertung zu diskutieren und praktische Unterstützung zu bieten. Für mitgliedsfähige Einrichtungen und Organisationen besteht die Möglichkeit, sich zunächst als assoziiertes Mitglied dem National Chapter anzuschließen.^[13]

Giovanni Abramo, Präsident der International Society for Scientometrics and Informetrics (ISSI) äußerte sich kritisch zu der Reform und betonte, dass sich die Community der Szientometriker nicht nur übergangen, sondern auch schlecht behandelt fühle. Szientometriker würden sich seit langem mit dem verantwortungsbewussten Einsatz von Bibliometrie zur Forschungsbewertung auseinandersetzen und beispielsweise vor dem Einsatz von h-Index zur Forschungsbewertung warnen.^[14]

1. ↑ CoARA Membership. Abgerufen am 30. Oktober 2024. 
2. ↑ Agreement on Reforming Research Assessment Volltext, Webseite von CoARA. Abgerufen am 6. Oktober 2024.
3. ↑ Europäische Kommission: Agreement on Reforming Research Assessment: now open for signature Webseite Research and innovation der Europäischen Kommission. Abgerufen am 7. Oktober 2024.
4. ↑ CoARA Agreement Signatories. Abgerufen am 30. Oktober 2024. 
5. ↑ Steffi Genderjahn: Forschungsbewertung zwischen Kompetenzfeststellung, Anerkennung und Gerechtigkeit. Laborjournal, 22. Juli 2024. Abgerufen am 5. Oktober 2024.
6. ↑ Europäische Kommission: Directorate-General for Research and Innovation, Towards a reform of the research assessment system – Scoping report, Publications Office, 2021, https://www.doi.org/10.2777/707440
7. ↑ Helmholtz Open Science Office: ‘’Research Evaluation, Reputation Systems, and Openness. A Presentation Blueprint on the San Francisco Declaration on Research Assessment (DORA) and the Coalition for Advancing Research Assessment (CoARA)’’. online unter https://os.helmholtz.de/assets/open_science/Downloads/2023_08_Presentation-Blueprint-DORA-CoARA.pdf August 2023, S. 16.
8. ↑ CoARA Membership. Abgerufen am 30. Oktober 2024. 
9. ↑ CoARA Action plans. In: Zenodo. Abgerufen am 30. Oktober 2024. 
10. ↑ Europäische Kommission: Action Plan by the Commission to implement the ten commitments of the Agreement on Reforming Research Assessment (ARRA) Abgerufen am 6. Oktober 2024.
11. ↑ Matthias Kiesselbach: CoARA Action Plan 2024 of Deutsche Forschungsgemeinschaft e.V. (DFG, German Research Foundation). Zenodo, 17. Juni 2024, doi:10.5281/zenodo.11913329 (zenodo.org [abgerufen am 30. Oktober 2024]). 
12. ↑ CoARA: Call for National Chapters. Webseite von CoARA. Abgerufen am 6. Oktober 2024.
13. ↑ Deutsche Forschungsgemeinschaft: Deutsche CoARA-Mitgliedsorganisationen gründen National Chapter Webseite der DFG, 6. März 2024. Abgerufen am 6. Oktober 2024.
14. ↑ Giovanni Abramo: The forced battle between peer-review and scientometric research assessment: Why the CoARA initiative is unsound, in: Research Evaluation 21, 2024. https://doi.org/10.1093/reseval/rvae021

• https://coara.eu/ Webseite von Coara
• Volltext der Vereinbarung