Zusammenfassung
Pädagogische Informationen über offene Bildungsressourcen (OER) ermöglichen das spezifische Suchen und Teilen dieser Materialien. Der LOM-Standard schlägt u. a. Felder wie Workload, Zielgruppe und Interaktivität vor. Vor dem Hintergrund, dass die Indexierung von Bildungsressourcen mit zusätzlichen Metadaten zeit- und ressourcenaufwendig ist und OER auch von Erstellern und Erstellerinnen direkt publiziert werden wollen, stellt sich die Frage zum einen nach dem Mehrwert der zusätzlichen Informationen für die Suche und zum anderen nach der Schwierigkeit bei deren Erstellung. Viele deutsche OER-Retrievaldienste haben aktuell ein Redaktionsteam, das die Metadaten überprüft und die Dozierenden beim Ausfüllen der Felder berät. Oft sind es jedoch die Dozierenden selbst, die ihre Materialien hochladen und mit Metadaten beschreiben wollen. Vor diesem Hintergrund wurden in einer qualitativ angelegten Studie Hochschullehrende zur Nützlichkeit und Nutzbarkeit von spezifischen pädagogischen Informationen zu Bildungsressourcen befragt. Im zweiten Schritt sollten sie versuchen, selbst diese Angaben auf eigene Bildungsressourcen anzuwenden. Die Ergebnisse zeigen, dass für OER im Hochschulbereich nicht alle vorgeschlagenen pädagogischen Informationen zielführend sind. Relevante Metadaten für die Suche sind Art des Lernmaterials, Zielgruppe, Beschreibung und Vorkenntnisse. Hingegen sind Workload und Interaktivität weniger relevant und zudem auch schwieriger für die Dozierenden zu beschreiben. Jedoch kommt bei allen Ergebnissen die Fachspezifität und Diversität der Bildungsressourcen zum Tragen, wie die Auswertungen der Aussagen der Teilnehmenden zeigen. Die Resultate können Anbietern von OER-Repositorien bei der Auswahl geeigneter Metadatenfelder helfen und tragen zur weiteren Klärung von Wertelisten der Metadatenfelder bei.
Abstract
Pedagogical information on open educational resources (OER) enables specific searching and sharing of those materials. The LOM standard suggests fields such as workload, target group and interactivity, among others. Against the background that indexing educational resources with additional metadata is time-consuming and resource-intensive and that creators of OER also want to publish their materials, the questions arise about the added value of the additional information for searching and about the difficulty in creating it. Many German OER retrieval services currently have an editorial team that checks the metadata and advises lecturers on filling in the fields. However, it is often the lecturers themselves who want to upload their materials and describe them with metadata. Against this background we conducted a qualitative study and asked university lecturers about the usefulness and usability of specific pedagogical information on OER. In a second step, they were asked to try to apply this information to their own educational resources. The results show that not all of the proposed pedagogical information is useful for OER in higher education. Relevant metadata for the search are type of learning material, target group, description and prior knowledge. Information on workload and interactivity is less relevant and also more difficult for lecturers to describe. However, the subject-specificity and diversity of the educational resources comes into play in all results, as the lecturer statements show. The results can help providers of OER repositories to select appropriate metadata fields and contribute to further clarification of metadata field value lists.
Résumé
Les informations pédagogiques sur les ressources éducatives ouvertes (REL) permettent la recherche et le partage spécifiques de matériel d’enseignement/d’apprentissage. La norme LOM propose entre autres des champs tels que la charge de travail, le groupe cible et l’interactivité. Compte tenu du fait que l’indexation de ressources pédagogiques avec des métadonnées supplémentaires demande beaucoup de temps et de ressources et que les REL souhaitent également être publiées directement par les créateurs, la question se pose d’une part de la valeur ajoutée des informations supplémentaires pour la recherche et d’autre part de la difficulté de leur création. De nombreux services de recherche OER allemands disposent actuellement d’une équipe de rédaction qui vérifie les métadonnées et conseille les enseignants pour le remplissage des champs. Cependant, ce sont souvent les enseignants eux-mêmes qui souhaitent télécharger leur matériel et le décrire avec des métadonnées. C’est dans ce contexte qu’une étude qualitative a été menée auprès d’enseignants de l’enseignement supérieur sur l’utilité et l’utilisabilité d’informations pédagogiques spécifiques sur le matériel d’enseignement/d’apprentissage. Dans un deuxième temps, ils devaient essayer d’appliquer eux-mêmes ces informations à leurs propres ressources pédagogiques. Les résultats montrent que les informations pédagogiques proposées ne sont pas toutes pertinentes pour les REL dans l’enseignement supérieur. Les métadonnées pertinentes pour la recherche sont le type de matériel pédagogique, le groupe cible, la description et les connaissances préalables. En revanche, la charge de travail et l’interactivité sont moins pertinentes et plus difficiles à décrire pour les enseignants. Cependant, la spécificité et la diversité des ressources pédagogiques se retrouvent dans tous les résultats, comme le montrent les évaluations des déclarations issues de l’analyse qualitative des enregistrements audio. Les résultats peuvent aider les fournisseurs de référentiels OER à choisir des champs de métadonnées appropriés et contribuent à clarifier les listes de valeurs des champs de métadonnées.
OER-Suche und Bereitstellung
Metadaten und Praxis bei OER
Offene Bildungsressourcen (Open Educational Resources, OER) sind offen lizenzierte, kostenlose Lern- und Lehrmaterialien, deren Lizenz es jedem erlaubt, die Ressource zu behalten, wiederzuverwenden, zu überarbeiten, neu zu mischen und weiterzuverbreiten (Wiley, n/A). OER können alle Arten von Bildungsressourcen mit unterschiedlicher Granularität sein, wie bspw. ein einzelnes Bild oder ein umfassender Kurs (Heinen et al., 2016; UNESCO, n/a, 2019). Offene Lizenzen stellen eine legale Nutzung von OER sicher, ohne gegen Urheberrechtsgesetze zu verstoßen, so dass diese leicht in bestehende Lehrveranstaltungen integriert werden können. Ziele der Idee von OER sind, die Kosten für die Materialproduktion zu senken, da Lehrkräfte OER wiederverwenden können (Farrow et al., 2020; Orr et al., 2015). Darüber hinaus sollen sie die Zusammenarbeit zwischen Lehrenden und Lernenden fördern, bspw. bei der gemeinsamen Erstellung hochwertiger Materialien (Blees et al., 2018).
Um OER recherchierbar und auffindbar zu machen, bauen verantwortliche Institutionen wie Hochschulen, Bundesministerien oder Länderkonsortien und private Anbieter im Bildungsbereich spezifische OER-Infrastrukturen wie Repositorien und Bookmarking-Systeme auf. Auch bieten bestehende Infrastrukturen wie Lernplattformen die Suche und den Austausch von OER an. Je nach Konzept und Zielsetzung dieser Infrastrukturen werden nur OER oder auch Bildungsressourcen mit eingeschränkten Lizenzrechten angeboten. Eine aktuelle Herausforderung dieser Dienste besteht darin, sicherzustellen, dass Nutzende geeignete Ressourcen suchen und finden können, die ihren individuellen Bedürfnissen entsprechen. Daher sind aussagekräftige Metadatenbeschreibungen erforderlich (Heinen et al., 2016).
Projekte wie Learning Object Metadata (LOM) (IEEE, 2020) und Learning Resource Metadata Initiative (LRMI, 2014) stellen Metadatenstandards zur Beschreibung von Bildungsressourcen bereit. LOM enthält etwa 90 Metadatenfelder, und es gibt verschiedene nationale Anpassungen, wie der deutsche Standard LOM-DE (Schumacher et al., 2010). Für die deutsche Hochschullehre wurde ein auf LOM basierender Standard entwickelt, der eine Auswahl relevanter Metadatenfelder für den Hochschulbereich beschreibt (Menzel, 2020; Menzel & Pohl, 2020). Die Nutzung der Felder in der Praxis ist jedoch noch uneinheitlich. Viele OER-Infrastrukturen bieten derzeit eine kleine Auswahl an LOM-Metadatenfeldern für die Suche und Beschreibung hochgeladener OER an (Menzel, 2020). Eine betroffene LOM-Metadatenkategorie, deren Metadatenfelder oft nicht verwendet werden oder, wenn im Dienst angeboten, nicht ausgefüllt werden, ist „Pädagogische Informationen“ (Faber et al., 2020; Menzel, 2020). Die etwa elf Metadatenfelder, die dieser Kategorie zugeordnet sind, beschreiben pädagogische Eigenschaften und pädagogische Informationen von Bildungsressourcen. Das Feld Schwierigkeit gibt bspw. an, wie schwierig die Ressource für einen Lernenden ist oder über welchen Wissensstand der Lernende verfügen sollte, wenn er die Ressource nutzt. Das Feld Interaktionsebene gibt an, wie die Lernenden mit den Ressourcen interagieren können, bspw. über Übungen.
Der Grund für die geringe Nutzung von Metadatenfeldern kann sowohl eine mangelnde Bereitschaft der OER-Erstellenden als auch die geringe Nützlichkeit der Felder oder ein unverhältnismäßig hoher Aufwand zur Bestimmung der Werte eines Metadatenfeldes sein (Menzel, 2020). Viele deutsche OER-Infrastrukturen verfügen über ein Redaktionsteam, das die Metadaten überprüft und beim Ausfüllen der Felder berät. Oft sind es jedoch die Hochschullehrenden, die ihre Materialien selbst publizieren und mit Metadaten beschreiben wollen. Beide Gruppen stehen bei der Angabe von Metadaten vor Herausforderungen.
Redaktionen einer OER-Infrastruktur haben zwar die Expertise in Bezug auf Metadatenfelder, ihnen fehlt aber oft das Fachwissen zu den Ressourcen oder das Wissen über pädagogische Details wie Zielgruppen und Vorkenntnisse, nach denen Dozierende ihre Materialien erstellen (Faber et al., 2020). Dozierende verfügen über dieses Wissen, haben aber oft keine Expertise zu Metadaten und halten die anzugebenden Informationen entweder für unwichtig oder interpretieren sie anders. Zudem mögen nicht alle LOM-Metadatenfelder auf den ersten Blick selbsterklärend sein. Beispielsweise haben sieben der neun LOM-Kategorien ein Feld mit der Bezeichnung Beschreibung, aber jedes Feld konzentriert sich auf spezifische Beschreibungsdetails. Es handelt sich zudem um Freitextfelder ohne klare Wertevorgaben. Diese Umstände führen dazu, dass relevante Informationen wie pädagogische Details als Metadaten von Bildungsressourcen fehlen, sie für das Finden relevanter Ressourcen aber hilfreich wären.
OER-Metadaten können automatisch auf Basis von Ähnlichkeiten zwischen Ressourcen und mit Methoden der natürlichen Sprachverarbeitung generiert werden. Bspw. extrahiert ein System zusätzliche Informationen aus anderen Quellen, wie Schlagworte ähnlicher Ressourcen (Cardinaels et al., 2005; Duval & Hodgins, 2003; Motelet, 2005; Motelet et al., 2006, 2007). Diese Methode erfordert jedoch Datenbanken, in denen eine Analyse der Beziehungen zwischen den Ressourcen möglich ist, wie Bookmarking-Systeme mit Ressource-Nutzer-Tag-Relationen. Automatische Verfahren sind in aktuellen OER-Infrastrukturen (vgl. Hiebl et al., 2022) schwer anwendbar, da die Datengrundlage nicht ausreichend scheint. Darüber hinaus beachten diese Verfahren nicht explizit die Sicht der Nutzenden eines Systems, um ihre Motivation und Bedürfnisse herauszufinden. Insbesondere OER-Erstellende sind aktiv in OER-Prozesse eingebunden. Unter der Annahme, dass viele LOM-Metadatenfelder zur Beschreibung von OER von Erstellenden nicht genutzt werden (Menzel, 2020), ist es sinnvoll, Präferenzen und Gründe dieser Zielgruppe abzufragen. Grundsätzlich sollten die Metadatenfelder in OER-Infrastrukturen für ihre Zielgruppen, darunter Lehrenden und Lernende verständlich, eindeutig und nützlich sein, um die Suche und die gemeinsame Nutzung der OER zu erleichtern.
Motivation und Forschungsfragen
Um die Beschreibungen von OER-Metadaten zu verbessern und das Auffinden und den Austausch von OER zu fördern, untersucht die folgende Studie die Perspektive der OER-Erstellenden. Die Studie zielt darauf, die Metadatenfelder des LOM-Standards auf ihre Nützlichkeit und Nutzbarkeit für Hochschullehrende zu evaluieren.
Daraus ergeben sich die folgenden Forschungsfragen:
Welche Metadatenfelder sind Lehrenden für die Beschreibung von Bildungsressourcen relevant bzw. nützlich?
Können Lehrende ihre eigenen Bildungsressourcen auf Grundlage des LOM-Standards effizient beschreiben?
Methode
Es wurden Interviews mit elf Hochschullehrenden auf der Grundlage eines strukturierten Leitfadens durchgeführt. Das Studiendesign orientierte sich an einer qualitativen Befragung mit einem experimentellen Anteil, wobei die Teilnehmenden eigene Bildungsressourcen beschreiben und dabei laut denken sollten. Um die Aussagen konkreter zu vergleichen, wurden die Nützlichkeit und Nutzbarkeit auf einer 6-stufigen Likert-Skala abgefragt, wobei 1 für „Ich stimme überhaupt nicht zu“ und 6 für „Ich stimme voll zu“ stand.
Die Befragung erfolgte online über ein Videokonferenztool. Durch eine Bildschirmübertragung konnte der Interviewer die Bearbeitung des Online-Fragebogens und zugehörige Äußerungen beobachten. Machten einzelne Befragte besondere Angaben, stellte der Interviewer klärende Fragen oder bat darum, das Gesagte weiter auszuführen sowie zu begründen. Bei Unklarheiten oder Rückfragen zum Fragebogen unterstützte der Interviewer. Für die Auswertung wurde das Audio der Interviews aufgezeichnet und transkribiert.
Der Ablauf der Befragung war wie folgt:
Fragen zum Lehrhintergrund
Bewertung der Nützlichkeit eines Metadatums anhand einer Likert-Skala und offenen Statements
Aufgabe: Beschreibung eigener mitgebrachter Bildungsressourcen
Bewertung der Nutzbarkeit bzw. Schwierigkeit der Beschreibung eines Metadatums anhand einer Likert-Skala und offenen Statements
Die Abfrage der Nutzbarkeit der Metadatenfelder unter Punkt 4 fand in Bezug auf die Beschreibung der eigenen Bildungsressource statt.
LOM-Metadatenfelder und Werte
Für die Studie wurden neun Metadatenfelder aus der LOM-Kategorie „Pädagogische Informationen“ sowie zwei weitere Felder des LOM-Metadatenstandards gewählt (Tab. 1). Zum besseren Verständnis für die Teilnehmenden benannte man einige Metadatenfelder während der Erhebung um und bezeichnete sie als Beschreibungen.
LOM Kategorie-Nummer | Bezeichnung in LOM / in der Studie |
5.2 | Lernressourcentyp / Art des Lernmaterials |
1.4 | Beschreibung des Inhalts der Ressource |
5.5 | Zielgruppe |
5.8 | Anforderung / Schwierigkeitsgrad |
5.6 | Bildungsstufe / Vorkenntnisse |
9.1 | Zielsetzung (gemeint sind Fächer, Disziplinen) / Studienfach |
5.10 | Pädagogische Beschreibung / Anleitung |
5.1 / 5.3 | Interaktivität der Ressource |
5.9 | Lernzeit / Workload |
Für die Felder der „Pädagogischen Informationen“ hatte man sich entscheiden, da diese speziell für Bildungsressourcen entwickelt wurden. Felder mit technischer Information (wie Dateiformat) sowie Angaben wie Titel, Sprache und Schlagwörter wurden nicht berücksichtigt, da diese gut automatisch generiert werden können. Vier Felder aus „Pädagogischen Informationen“ wurden wegen ihrer Komplexität (wie 5.4 semantische Dichte) weggelassen oder zusammengefasst abgefragt (wie 5.3 Interaktivitätslevel). Zusätzlich zu diesen Feldern ergänzte man nach Analyse bestehender OER-Infrastrukturen (wie Twillo[1], ZOERR[2] und OERSpäti[3]) die Felder Zielsetzung und Beschreibung des Inhalts für die Befragung.
Für die Beantwortung der Frage nach der Art des Lernmaterials dienten die Wertelisten der genannten Repositorien sowie die Werteliste von SkoHub Vocabs[4]. Bei der Beschreibung der eigenen Bildungsressourcen wurde den Teilnehmenden eine exemplarische Liste mit gängigen und leicht verständlichen Werten aus den Repositorien gezeigt.
Zielgruppe und Rekrutierung
Die Studie richtete sich an Hochschullehrende, die derzeit unterrichten und Bildungsressourcen selbst nutzen oder erstellen − möglichst offen und über Online-Portale. Um ein heterogenes Meinungsbild zu erhalten, waren sowohl die Hochschulen als auch der Lehrhintergrund nicht relevant. Daher entschied man sich für Dozierende, die bereits OER in einem Repositorium bereitstellen. In diesem Fall das Repositorium OERSpäti, weil es die Kontaktdaten der OER-Erstellenden enthält. OERSpäti wurde in Hessen entwickelt und verfügt über Seiten, die unter anderem den Namen, das Fach, eine Hochschulwebsite und die E-Mail-Adressen der Lehrenden enthalten. Bei 41 Personen aus dem OERSpäti war es möglich, die Kontaktmöglichkeiten zu ermitteln; diese wurden telefonisch oder per E-Mail kontaktiert (März und April 2021). Von diesen nahmen zehn an der Studie teil. Ein weiterer Hochschuldozent einer hessischen Hochschule, der ebenfalls Bildungsressourcen erstellt, wurde über einen persönlichen Kontakt rekrutiert.
Datenanalyse
Die Auswertung besteht aus zwei Teilen: Der Auswertung der Skalen zu Nützlichkeit und Nutzbarkeit anhand der konkreten Bewertungen, ergänzt durch die qualitative Auswertung der Audiomitschnitte sowie der Antworten in den Freitextfeldern des Fragebogens. Die Beschreibungen der eigenen, in den Online-Fragebogen eingegebenen Bildungsressourcen, wurden nicht kodiert, aber bei der Interpretation der Aussagen der Befragten berücksichtigt. Im zweiten Teil der Befragung bezogen sich viele Aussagen aus den kodierten Audiomitschnitten auf die Beschreibung der eigenen Materialien. Die qualitative Auswertung der Audiomitschnitte und Freitextfelder erfolgte in drei Schritten:
Transkription relevanter Zitate von Befragten aus den Audiomitschnitten: Die Transkriptionsregeln folgten dem semantisch-inhaltlichen Transkriptionssystem von Dresing und Pehl (2018). Der Interviewer wählte die relevanten Kommentare aus. Die Kommentare aus den Freitextantworten wurden vollständig in das Transkriptionsdokument übernommen.
Kodieren des Transkriptionsdokuments: Zunächst wurden die relevanten Aussagen aller Befragter einer Fragestellung (wie Nützlichkeit von Art des Lernmaterials) zugeordnet und anschließend Aussagen kodiert. Dabei orientierte man sich an Mayring (2014). Der Fokus lag auf Aussagen zur Bewertung von Nützlichkeit und Wichtigkeit von Beschreibungen sowie genannten Gründen bzw. Begründungen. Die Paraphrasierung und Generalisierung erfolgten in einem Schritt: Dabei wurden für die Bewertungen sechs Kodes verwendet (nicht nützlich, eher nicht nützlich, eher nützlich, nützlich, sehr nützlich, bedingt nützlich). Die Begründungen wurden offen kodiert. Eine Kodierung hatte somit das Muster von „Wertung, Begründung“, bspw. „Eher nützlich, weil offensichtlich“, ergänzt durch einen detaillierten Kode wie „Art des Lernmaterials ist für Lehrkraft auch ohne Angabe schnell ersichtlich“. Die Abstimmung des finalen oben beschriebenen Kodierschemas erfolgte von zwei Forschenden auf Basis von Kodierungen eines Teils des Transkriptionsdokuments. Dazu holte man Feedbacks von zwei externen Mitforschenden ein. Es wurde jedoch kein Reliabilitätsfaktor erhoben. Nach Absprache des Kodierschemas wurde das gesamte Dokument vom Interviewer kodiert.
Zusammenfassen der Kodes aller Befragten zu einzelnen Metadatenfeldern bzw. Themen: Im letzten Schritt wurden die Kodes in einem Text zusammengefasst, um die relevantesten Erkenntnisse festzuhalten (Selektion). Die Dokumente mit den drei Schritten der qualitativen Analyse sind online[5] auf der Projektseite abgelegt.
Ergebnisse und Diskussion
Stichprobe und Lehrhintergrund
An der Befragung nahmen elf Hochschullehrende verschiedener Disziplinen aus Hessen teil (Tab. 2). Bei den Teilnehmenden wurde nur der Lehrhintergrund abgefragt, weitere sozio-demographischen Daten aber nicht erhoben. Denn bei einer qualitativ angelegten Studie besteht die Gefahr von Verzerrungen bei der Interpretation von Daten zu Aussagen und Wahrnehmungen von Teilnehmenden. Aus diesem Grund, und auch um die Befragung schlanker zu halten, verzichtete man auf weitere personenbezogene Daten. Die Befragungen fanden im März und April 2021 statt. Die Dauer der Befragungen lag zwischen 23 und 56 Minuten.
Abbildung 1 zeigt die Häufigkeit des Einsatzes verschiedener Bildungsressourcen. Die Befragten verwenden am häufigsten Übungen und Präsentationen für den Unterricht und erstellen diese auch selbst. Selten verwendete Lernmaterialien sind Experimente, Simulationen, Bücher und Softwareanwendungen. Illustrationen und Videos werden von jedem der Dozierenden eingesetzt und von sieben selbst erstellt. Häufig genutzte Arten von Lernmaterialien werden auch öfter von den Lehrenden selbst produziert. Ausnahmen sind Bücher und Softwareanwendungen, die von den Befragten häufiger genutzt als selbst angefertigt werden.
Lehrhintergrund | # Code Teilnehmende | Eigene Ressourcen, die in Studie beschrieben wurden |
Mathematik | T1 | Video |
T11 | Übung | |
Anglistik/Englisch | T2 | Kurs |
T6 | Kurs | |
T8 | Kurs | |
Bio- und Getränke-technologie | T3 | Kurs |
Sportwissenschaft | T4 | Kurs |
Informatik | T5 | Website |
Bibliothekswissenschaft | T7 | Website |
Erziehungswissen-schaften | T9 | Kurs |
Wirtschaftswissen-schaften | T10 | Kurs |
Nützlichkeit und Nutzbarkeit
Abbildung 2 zeigt zur Übersicht die Durchschnittswerte für die Nützlichkeit und Nutzbarkeit der Metadatenfelder. Wie in der Methode beschrieben, wurde zunächst die Nützlichkeit von Metadatenfeldern für die Suche nach geeigneten Bildungsressourcen abgefragt. Die Bewertung der Nutzbarkeit, d. h. die Schwierigkeit oder Leichtigkeit, Metadatenfelder auszufüllen, erfolgte, nachdem die Lehrenden dies anhand ihrer mitgebrachten Ressourcen aktiv getestet hatten.
Es ist ersichtlich, dass die Metadaten Art des Lernmaterials, Beschreibung, Vorwissen und Studienfach wichtig (> 4,62) und leicht zu beschreiben (> 4,72) sind. Die Zustimmungswerte nehmen vor allem bei Anleitung, Workload, Interaktivität und Schwierigkeitsgrad ab.
Ein interessantes Meinungsbild zeigt sich auch bei Beschreibung, Studienfach und Workload. Hier divergiert die Einschätzung von Nützlichkeit und Nutzbarkeit. Bei der Beschreibung bewerten die Befragten die Nützlichkeit mit 5,36 am höchsten. Die Schwierigkeit, das Metadatum zu beschreiben, wird von den Befragten hingegen mit 4,36 bewertet. Unterboten wird dieser Wert nur noch von Anleitung und Workload, die als noch schwieriger zu beschreiben eingestuft werden.
Im Folgenden werden die acht abgefragten Metadatenfelder einzeln diskutiert und die Kommentare der Teilnehmenden aus den Audioanalysen einbezogen.
Art des Lernmaterials
Die Art des Lernmaterials ist für die Befragten wichtig für die Suche (Ø 5,36) und leicht zu beschreiben (Ø 5,63). Zum einen, weil jeder seine „Vorlieben“ (T5) bei der Art des verwendeten Lernmaterials hat und somit Ergebnisse filtern kann. Zum anderen, weil „die Art des Materials auch die spätere Methodik und Didaktik bestimmen kann“ (T7). Ein Befragter (T9) sieht die Art des Lernmaterials als so nützlich an, dass er nur dann eine Bildungsressource auswählen könnte, wenn diese Information angegeben ist. Im Gegensatz dazu halten es andere (T6) für möglich, dass Dozierende die Art des Lernmaterials auch ohne explizite Angabe beurteilen können, und dass der Inhalt des Materials wichtiger ist als die Typbezeichnung (T11). Die Entwickler des LOM-Standards für die Hochschullehre stellen fest, dass die Wertlisten bei diesem Metadatum eine Herausforderungen sind und sich hier noch kein Standard durchsetzen konnte (Menzel, 2020). Somit erweiterten sie aktuelle Wertelisten.
Was die Schwierigkeit der Beschreibung betrifft, variiert diese je nach Typ der Bildungsressource. Ein Teilnehmender (T4) hatte explizit Schwierigkeiten, das eigene mitgebrachte Material zu spezifizieren, da es sich um einen Kurs handelte, der aus mehreren Ressourcen bestand, von denen jedes auch ein anderer Lernressourcentyp war. Hier zeigt sich die Herausforderung der Granularität von Bildungsressourcen (Mandausch, 2017) und dessen Repräsentation in OER-Infrastrukturen. Um einen Kurs mit mehreren Lernressourcen abzubilden, müssen hierfür hierarchische Relationen abgebildet werden. Die Beschreibung des Metadatenfeldes würde dann mehrere Einträge umfassen, was der Nutzbarkeit eher nicht zuträglich ist.
Beschreibung der OER
Die Nützlichkeit der Beschreibung (Ø 5,36) wird sehr hoch bewertet. Neben dem Titel enthält dieses Metadatum Informationen über den Inhalt der Bildungsressource. Auch andere Studien zeigen, dass für Lehrende bei der Suche nach Ressourcen die Abschätzung der „inhaltlichen Passgenauigkeit“ wichtig ist (Pohl et al., 2017). Hier geben die Befragten an, dass auch Informationen über Lernziele „sehr wichtig“ (T2) sind, ein eigentliches Ziel des Metadatums (Menzel, 2020). Zwei der Befragten (T2 und T8) kritisieren jedoch das Format des Metadatenfeldes: Freitext-Metadatenfelder sind verwirrend, oft zu lang und als natürliche Sprache auch nicht maschinenlesbar. Eine Beschreibung in Form von Aufzählungspunkten ist sinnvoll, da dies übersichtlicher ist (T2).
Auch Schwierigkeiten beim Ausfüllen des Feldes (Ø 4,36) werden genannt, so fehlen Informationen über den notwendigen Umfang des Inhalts der Beschreibung. Kritisiert wird, dass eine Beschreibung „so vielfältig und so viel“ sein kann (T2) und dass man nicht weiß, „wie viel [...] man den Leuten vermitteln muss“ (T9). Hier könnte den OER-Erstellenden ein kurzer Hilfetext oder ein Beispiel zur Beschreibung einer Bildungsressource angeboten werden.
Zielgruppe
Auch die Nützlichkeit der Zielgruppe (Ø 5,36) ist hoch bewertet. So ist eine Angabe der Zielgruppe notwendig, um Verwechslungen zu verhindern: „Falls ich aus Versehen etwas für meine Studierenden zur Verfügung stelle und es doch eigentlich für Forschende ist, zum Beispiel“ (T2).
Die Nutzbarkeit des Feldes Zielgruppe wird ebenfalls positiv bewertet (Ø 5,27). Die Beschreibung ist nicht schwer, da man sich die Zielgruppe „bei der Gestaltung bei einem Lernmaterial von Anfang an überlegen“ muss (T9). Jedoch sollte das Feld eine Mehrfachauswahl erlauben, da Materialien bspw. sowohl an Studierende als auch an Lehrende gerichtet sind (T1, T8). Im Gegensatz findet ein anderer Befragter (T5) die Zielgruppe bei seinen Lehraktivitäten offensichtlich und das Feld deswegen überflüssig: Bei der Befragung beschrieb der Teilnehmende eine eigene erstellte Webseite, die im Informatikunterricht zur Erarbeitung von Grundbegriffen eingesetzt wird und offensichtlich an Studierende gerichtet ist, die Grundlagen der Informatik erlernen wollen.
Schwierigkeitsgrad
Das Feld Schwierigkeitsgrad ist im Vergleich eher nicht nützlich (Ø 3,64) und eher schwer zu beschreiben (Ø 4,55). Grund für die eher schlechte Bewertung der Nützlichkeit ist, dass die meisten Befragten vorgegebene Werte wie „einfach“, und „schwer“ für die Angabe eines Schwierigkeitsgrades als wenig hilfreich und als „zu platt“ (T8) empfinden. Die Befragten kritisieren diese Angabe als „relativ und nicht wirklich aussagekräftig“ (T8). Zudem liegt die Schwierigkeit von Lernmaterial „ja auch immer in der Perspektive des Betrachters“ (T9). Zwei der Befragten (T8 und T9) verweisen auf das Metadatenfeld Vorkenntnisse und bewerten dieses als aussagekräftiger, um Nutzenden eine Einschätzung der Schwierigkeit von Bildungsressourcen zu ermöglichen.
Alternativ könnten transparente Schwierigkeitsgrade geschaffen werden, wie es sie in einigen Kontexten gibt: So nennt ein Teilnehmender (T2) aus den Sprachwissenschaften die unterschiedlichen Sprachniveaus (A1-C2) als Beispiel. Gleichzeitig könnte eine solche Angabe auch unter Vorkenntnisse angegeben werden. Schlussfolgernd ist demnach eines der beiden Metadatenfelder ausreichend. Bei Vorkenntnissen können die Lernenden selbst entscheiden, ob sie über Vorkenntnisse verfügen und eine Bildungsressource geeignet oder ungeeignet für sie ist.
Vorkenntnisse der Lernenden
Wie oben diskutiert werden Vorkenntnisse als nützliches (Ø 4,91) und nutzbares (Ø 5,27) Feld bewertet. Das Metadatenfeld sei „messbar“ und „aussagekräftig“ (T8), um Nutzenden Auskunft über die Schwierigkeit eines Lernmaterials zu geben. Auch andere Umfragen kommen zu dem Ergebnis, dass Vorkenntnisse bzw. die Niveaustufe ein wichtiges Metadaten für Lehrende ist (Pohl et al., 2017). Anzumerken ist jedoch, dass die Nützlichkeit von Vorkenntnisse nach Fach und Thema variieren kann (T2). So ist es bei manchen Bereichen der Informatik zwingend notwendig, über gewisse Vorkenntnisse zu verfügen, und die Angabe darüber besonders nützlich. Bei anderen Fächern bzw. Themen sind Vorkenntnisse möglicherweise weniger relevant. Zudem könnte man sich „so ein bisschen in seiner eigenen Blase“ (T3) bewegen, daher sollten die Angaben aus Sicht der Lernenden reflektiert werden.
Studienfach
Trotz der guten Bewertung (Ø 4,82 Nützlichkeit und Ø 5,82 Nutzbarkeit) gehen die Meinungen zur Nützlichkeit von Studienfach auseinander. Zwei der Befragten sehen die Angabe als eher nicht wichtig an, weil Bildungsressourcen auch interdisziplinär genutzt werden können und „es eigentlich nicht so relevant [ist], für welches Fach es jetzt konkret ausgelegt ist“ (T1). Außerdem kann es auch sein, dass „mal Externe, die sich reinklicken“, (T4) das Material nützen können. Jedoch ist in manchen Kontexten die Angabe zwingend notwendig (T2). Als Beispiel sieht der Teilnehmende das Fach „Englisch for specifc purposes“, in dem die englische Sprache in einem speziellen Fachkontext vermittelt wird. Seiner Meinung nach kann es dort ohne explizite Angabe des Faches zu Verwechslungen zwischen dem Fachkontext und dem eigentlichen Lehrinhalt kommen.
Anleitung zum Gebrauch der OER
Die meisten der Befragten äußern sich eher abgeneigt zu Anleitung und sind der Meinung, dass das Metadatum eher weniger wichtig ist (Ø 4,18 Nützlichkeit und Ø 4,00 Nutzbarkeit). Hierbei führen die Befragten an, dass der ursprüngliche Einsatz einer Bildungsressource sowieso nicht dem tatsächlichen Einsatz entspricht. Meistens schauen Dozierende, „was man an die eigene Lehre oder Seminare anpassen kann“ und „wenn man nur Teile aus einem Lernmaterial nutzt, dann brauche ich die Anleitung nicht unbedingt“ (T9). Weiter geben die Befragten an, dass sie manchmal „dann auch selber ein bisschen gucken“ (T2) möchten und dass „sehr interessante Sachen raus [kommen], wenn man es [Ressourcen] zweckentfremdet“ (T1). Eine Anleitung ist daher überflüssig und „die meisten Sachen heute selbsterklärend“ (T3).
Auch die Nutzbarkeit wird kritisiert. Das Erstellen von Anleitungen kann „so vielfältig“ sein und „lang dauern“ (T2). Außerdem weiß man nicht, „welche Informationen benötigt [werden], um damit zu arbeiten und was vielleicht überflüssig [ist]“ (T9). Wie schon bei der Beschreibung wären Beispiele sinnvoll. Darüber hinaus wäre es aber auch schön zu wissen, „wie das Lernmaterial benutzt werden könnte“ und „was der Ersteller gedacht hat“ (T9). Es scheint dennoch, als sei Anleitung ein Feld, das nicht zwingend benötigt wird, sondern eher ein „nice-to-have“ ist.
Interaktivität
Die im Vergleich zu anderen Feldern eher schlechte Bewertung von Interaktivität (Ø 3,82 Nützlichkeit und Ø 4,73 Nutzbarkeit) spiegelt sich in den Kommentaren der Befragten. Bemängelt wird, dass es für den Lernenden durch eine Angabe der Interaktivität nicht möglich ist das Material zu bearbeiten „ohne dass er weiß, was auf ihn zukommt, und dadurch [eigentlich] das Entdecken einer solchen Lernumgebung gefördert wird“ (T5). Zudem können Lernende die Interaktivität selbst einschätzen (T11).
Vorgeschlagene Werte des Feldes wie ‚aktiv‘, und ‚passiv‘ werden als nicht geeignet kritisiert. Zum einen, weil es häufig nicht eindeutig ist und zum anderen, weil es nicht für die Beschreibung der Interaktivität ausreicht. Interaktivität „sollte man auch an einzelnen messbaren Kategorien festmachen“ und, „dass man vielleicht sagt, wo [...] die Lernenden aktiv werden“ (T8). Auf der anderen Seite ist die Information hilfreich, um dann selbst der Ressource interaktive Elemente hinzuzufügen (T2).
Während der Beschreibung ihrer eigenen Bildungsressource hatten zwei der Befragten Schwierigkeiten, eine Angabe zur Interaktivität zu machen. Einem der Teilnehmenden (T3) fiel es schwer zu entscheiden, ob es sich bei dem Kurs um eine passive oder gemischte Interaktion handele, weil das „passive“ Material für ein „aktives“ Setting vorgesehen ist. Ein weiterer Teilnehmender meint, dass es nach seinem Verständnis kein „passives“ Lernmaterial geben könne: „Jeder Lernvorgang setzt voraus, dass man aktiv ist oder wird“ (T4). Die Befragten scheinen Unsicherheiten zum Verständnis von Interaktivität zu haben. Es sollte daher ein besseres Verständnis des Metadatums geben. Wie beim Metadatenfeld Zielgruppe wäre es also nötig, geeignete Werte für die Vorgabe zu bestimmen oder eine offene Angabe mit Beispielen zu ermöglichen.
Workload
Als Grund für die eher negative Bewertung der Nützlichkeit (Ø 4,09) und Nutzbarkeit (Ø 2,82) von Workload nennen die Befragten die Beschaffenheit der Bildungsressourcen sowie das Unwissen über das Arbeitstempo von Lernenden. Es wird „ganz stark davon abhängen, wer das bearbeitet“ (T9) und der eine kann „etwas mehr, der andere weniger brauchen“ (T7), weil „ja jeder unterschiedlich“ (T11) ist und es „immer auch davon abhängt, wie fleißig oder gewissenhaft die Studierenden mit diesem Material umgehen“ (T9).
Bei der Beschreibung des Materials sagen die Befragten, dass es bei komplexen Bildungsressourcen schwierig ist, eine Angabe zu machen. Beispielsweise versuchte einer (T3) während der Beschreibung des Materials den Workload anhand der Semesterwochenstunden eines Fachmoduls rechnerisch zu bestimmen, stufte den Versuch später aber selbst als missglückt ein. Außerdem gibt es auch Materialien, die optional sind (T2, T5). Zwei der Befragten sprechen Workload trotz der Schwierigkeit einen Nutzen zu. „Das ist ja so ganz wichtig in Richtung ECTS-Punkte“ (T9) und „wenn sich Studierende auch die Zeit einteilen“ (T10).
Weitere relevante Aspekte
Alle Befragten sind der Meinung, dass Metadaten bei unterschiedlichen Ressourcen auch unterschiedlich nützlich und nutzbar sind. Grund dafür sind Unterschiede in der Komplexität der Bildungsressourcen. Weniger komplexes Material muss nicht so ausführlich beschrieben werden. Hier reichen „nur die allerwichtigsten Informationen“ (T2), denn „manche Materialien sind selbsterklärend und eine kurze Beschreibung eher ein „nice-to-have“. Andere komplexere Materialien sind dagegen „erklärungsbedürftiger“ (T10). Beispielsweise ist ein Video „schneller geschaut, als der Text [Metadaten] gelesen“ (T11), weswegen „der Nutzungswert der Beschreibung“ bei komplexem Material höher ist, „da mehr Zeit eingespart werden kann“ (T11). Insbesondere werden die Unterschiede zwischen einzelnen Texten, Bildern oder Videos und einem kompletten Kurs hervorgehoben. Auch wenn „Lernmaterialien aufeinander aufbauen, wäre die Beschreibung wichtiger und [man] sollte präzise die einzelnen Elemente erläutern“ (T9).
Ähnlich verhält es sich mit der Schwierigkeit der Beschreibung des Materials. So kommt es „auf die Komplexität der Lernmaterialien“ (T5) an und „je komplexer die Lernmaterialien [...], desto schwieriger (aufwändiger) die Beschreibung“ (T4). „Größere Einheiten sind schwieriger zu beschreiben, da sie häufig mehrere Aspekte haben“ (T3). Ein Befragter beschreibt den Unterschied der Schwierigkeit an einem Kurs: „Bei einem Kurs muss ich ja schon darauf eingehen [...], welche Inhalte kommen, wie die miteinander vielleicht auch zusammenhängen und wie die aufeinander aufbauen. [...] ein einzelnes Element [...] da muss ich natürlich weniger beschreiben, [...]“ (T9).
Zusammengefasst sollten Metadatenfelder helfen, Bildungsressourcen schnell einschätzen zu können. Besser als lange Beschreibungen zu Metadaten sind diese im „Sinne einer Checkliste“ (T3) zu gestalten.
Konklusion und Ausblick
Zusammengefasst lässt sich festhalten, dass von den befragten Lehrenden die Metadatenfelder Art des Lernmaterials, Zielgruppe und Beschreibung als relevant, während die Felder Vorkenntnisse, Schwierigkeitsgrad, Anleitung, Interaktivität und Workload als eher weniger relevant für die Suche eingeschätzt werden. Letztere sind für Dozierende schwieriger zu beschreiben. Eine Ausnahme stellt die Beschreibung dar, die sehr wichtig für die Suche ist. Hier kann u. a. das Lernziel genauer formuliert werden. Jedoch sollten OER-Infrastrukturen Beispiele für Umfang und Art der Beschreibung beinhalten, um Dozierenden hierbei anzuleiten. Des Weiteren spielt die Art der Bildungsressource eine wesentliche Rolle. Komplexe Ressourcen benötigen mehr Informationen, damit Dozierende sie besser einschätzen können. Überlegenswert für Betreiber von OER-Infrastrukturen wäre daher, je nach Art der Ressourcen verschiedene Metadaten abzufragen. Allerdings sollten hierbei die Herausforderungen für das Retrieval und das Filtern nach Materialien bedacht werden.
Grundsätzlich sind mehr Beispiele guter Beschreibungen von Bildungsressourcen wünschenswert. Denn eine steigende Anzahl an OER wird eine verbesserte Suche nötig machen. Dozierende müssen zur Erschließung ihrer Materialien beitragen. Denn dies kann zukünftig nicht alleine von den Redaktionen der OER-Infrastrukturen bewerkstelligt werden – auch wenn eine redaktionelle Betreuung natürlich wünschenswert wäre (Menzel, 2020). Die Studie hat hier gezeigt, dass Lehrende detaillierte Informationen zu Bildungsressourcen durchaus schätzen und gute Angaben machen können. Eine Folgestudie könnte die Empfehlungen aus der qualitativen Untersuchung fundieren und experimentell in OER-Infrastrukturen überprüfen.
Über die Autoren
Friedhelm Tischler hat einen B. A. in Bibliotheks- und Informationsmanagement von der Hochschule der Medien Stuttgart und einen M. Sc. in Information Science von der Hochschule Darmstadt. Im Rahmen eines Forschungspraktikums am Informationszentrum Bildung entwickelte und führte er die hier vorgestellte Studie durch. Seine Fachinteressen liegen bei der Textverarbeitung unter Einsatz von maschinellen Lernverfahren und bei Semantischen Netzen.
Tamara Heck forscht seit 2018 am Informationszentrum Bildung zu Informations(such)verhalten und digitalen Infrastrukturen mit Fokus auf offene Forschungs- und Lehrpraktiken. Sie koordiniert das dortige Promotionsteam und lehrt u. a. zu systematischer Recherche und Informationsverhalten an der Hochschule Darmstadt.
Marc Rittberger ist seit 2005 Direktor des Informationszentrum Bildung am DIPF, der zentralen Forschungsinfrastruktureinrichtung zu Bildungsforschung und Erziehungswissenschaft in Deutschland. Er lehrt an der Hochschule Darmstadt im Fachbereich Media und forscht zu Informationsinfrastrukturen, Benutzungsverhalten und Informetrie.
Dank
Wir danken den Beteiligten für ihre Teilnahme an der Studie und die Einblicke in ihre Lehrressourcen. Danke auch an Sylvia Kullmann und Johannes Hiebl für ihr hilfreiches Feedback zur Befragung und der Auswertung.
Literatur
Blees, I., Metze, Mangold, Verena & Muuß-Merholz, J. (2018). OER haben enormes Potenzial für das lebenslange Lernen. https://web.archive.org/web/20211209155539/https://www.unesco.de/bildung/open-educational-resources/oer-haben-enormes-potenzial-fuer-das-lebenslange-lernen [17.7.2022]Search in Google Scholar
Cardinaels, K., Meire, M. & Duval, E. (2005). Automating metadata generation: the simple indexing interface. In WWW '05: Proceedings of the 14th international conference on World Wide Web (S. 548–556). ACM Press. https://doi.org/10.1145/1060745.106082510.1145/1060745.1060825Search in Google Scholar
Dresing, T. & Pehl, T. (2018). Praxisbuch Interview, Transkription & Analyse. Anleitungen und Regelsysteme für qualitativ Forschende (8. Auflage). Eigenverlag. https://www.audiotranskription.de/wp-content/uploads/2020/11/Praxisbuch_08_01_web.pdfSearch in Google Scholar
Duval, E. & Hodgins, W. (2003). A LOM Research Agenda. In WWW2003 – Twelfth International World Wide WebConference. ACM Press. http://www2003.org/cdrom/papers/alternate/P659/p659-duval-html.html [17.7.2022]Search in Google Scholar
Faber, K., Kächelein, H., Klinger, A., Peters, P. & Rempis, P. (2020). LOM for Higher Education OER Repositories. https://dini-ag-kim.github.io/hs-oer-lom-profil/draft/#bib-lomv1.2Search in Google Scholar
Farrow, R., Pitt, R. & Weller, M. (2020). Open textbooks as an innovation route for open science pedagogy. Education for Information, 36(3), 227–245. https://doi.org/10.3233/EFI-19026010.3233/EFI-190260Search in Google Scholar
Heinen, R., Kerres, M., Scharnberg, G., Blees, I. & Rittberger, M. (2016). A federated reference structure for open informational ecosystems. Journal of Interactive Media in Education, 2016(1), 33. https://doi.org/10.5334/jime.41310.5334/jime.413Search in Google Scholar
Hiebl, J., Heck, T., Kullmann, S. & Rittberger, M. (2022). Reflecting Open Practices on Digital Infrastructures. In Open Science Conference 2022, Online Conference. https://doi.org/10.5281/ZENODO.6365758Search in Google Scholar
IEEE (2020). IEEE Standard for Learning Object Metadata – 1484.12.1-2020. Piscataway, NJ, USA. IEEE. https://doi.org/10.1109/IEEESTD.2011.598212510.1109/IEEESTD.2011.5982125Search in Google Scholar
LRMI (2014). LRMI–Dublin Core Metadata Initiative. https://www.dublincore.org/specifications/lrmi/Search in Google Scholar
Mandausch, M. (2017). Annotationskonzept für Bildungsressourcen.https://www.ice-karlsruhe.de/wp-content/uploads/2017/12/2017-12-01-Annotationskonzept.pdf [17.7.2022]Search in Google Scholar
Mayring, P. (2014). Qualitative Content Analysis. Theoretical Foundation, Basic Procedures and Software Solution. https://www.ssoar.info/ssoar/bitstream/handle/document/39517/ssoar-2014-mayring-Qualitative_content_analysis_theoretical_foundation.pdf?sequence=1&isAllowed=y&lnkname=ssoar-2014-mayring-Qualitative_content_analysis_theoretical_foundation.pdf [17.7.2022]10.1007/978-94-017-9181-6_13Search in Google Scholar
Menzel, M. (2020). LOM for Higher Education OER Repositories. Vorab-Onlinepublikation. https://doi.org/10.5282/O-BIB/5579 (1-10 Seiten / o-bib. Das offene Bibliotheksjournal / Herausgeber VDB, Bd. 7 Nr. 1 (2020) / o-bib. Das offene Bibliotheksjournal / Herausgeber VDB, Bd. 7 Nr. 1 (2020).Search in Google Scholar
Menzel, M. & Pohl, A. (2020). LOM for Higher Education OER Repositories-Beschreibung zur XML Schema Definition des Metadatenprofils für Open Educational Resources im Hochschulbereich. https://dini-ag-kim.github.io/hs-oer-lom-profil/latest/ [17.7.2022]Search in Google Scholar
Motelet, O. (2005). Relation-based heuristic diffusion framework for LOM generation. In Chee-Kit Looi, Gordon I. McCalla, Bert Bredeweg & Joost Breuker (Hrsg.), Frontiers in Artificial Intelligence and Applications, Artificial Intelligence in Education – Supporting Learning through Intelligent and Socially Informed Technology, Proceedings of the 12th International Conference on Artificial Intelligence in Education, AIED 2005, July 18-22, 2005, Amsterdam, The Netherlands (S. 970). IOS Press.Search in Google Scholar
Motelet, O., Baloian, N. A. & Pino, J. A. (2006). Hybrid System for Generating Learning Object Metadata. In Kinshuk (Hrsg.), Proceedings / Sixth International Conference on Advanced Learning Technologies, ICALT 2006: 5 – 7 July 2006, Kerkrade, The Netherlands (S. 563–567). IEEE Computer Society. https://doi.org/10.1109/ICALT.2006.165250410.1109/ICALT.2006.1652504Search in Google Scholar
Motelet, O., Baloian, N. A. & Pino, J. A. (2007). Learning object metadata and automatic processes: Issues and perspectives. In K. Harman & A. Koohang (Hrsg.), Learning Object: Standards, Metadata, Repositories and LCMS. Informing Science Press.Search in Google Scholar
Orr, D., Rimini, M. & van Damme, D. (2015). Open Educational Resources: A Catalyst for Innovation. OECD Publishing. https://doi.org/10.1787/9789264247543-en10.1787/9789264247543-enSearch in Google Scholar
Pohl, A., Mandausch, M. & Henning, P. A. (2017). „Was haben wir denn da?“ Open Educational Resources im Web auffindbar machen. Synergie, 04, 64–67. https://www.synergie.uni-hamburg.de/de/media/ausgabe04/synergie04.pdf [17.7.2022]Search in Google Scholar
Schumacher, F., Eysel, H., Rauch, H., Rix, T., Schöppner-Höper, A., Stops, H.-U. & Weinreich, M. (2010). LOM-DE: Specification of a LOM Profile for German metadata exchange. https://web.archive.org/web/20220722150205/https://www.google.de/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwjJrJvU4Yz5AhWtVvEDHXZrAw8QFnoECAwQAQ&url=http%3A%2F%2Fsodis.de%2Flom-de%2FLOM-DE.doc&usg=AOvVaw2cCx1alabE4ThkWmUy1m4g [17.7.2022]Search in Google Scholar
UNESCO. (n/a). Open Educational Resources (OER) – Definition. https://web.archive.org/web/*/https://en.unesco.org/themes/building-knowledge-societies/oerSearch in Google Scholar
UNESCO. (2019). Draft Recommendation on Open Educational Resources. https://unesdoc.unesco.org/ark:/48223/pf0000370936 [17.7.2022]Search in Google Scholar
Wiley, D. A. (n/a). Defining the "Open” in Open Content and Open Educational Resources. https://web.archive.org/web/20211201204445/https://opencontent.org/definition/ [17.7.2022]Search in Google Scholar
© 2022 Walter de Gruyter GmbH, Berlin/Boston