DGS - Deutsche Gesellschaft für Soziologie: CHE-Ranking

CHE-Ranking

Wissenschaftliche Evaluation ja – CHE-Ranking nein. Methodische Probleme und politische Implikationen des CHE-Hochschulrankings

Stellungnahme der Deutschen Gesellschaft für Soziologie (DGS)
Juni 2012 (Langfassung)

Seit dem Jahr 1998 werden in jedem Frühjahr die Ergebnisse des CHE-Hochschulrankings veröffentlicht, das aus einer Ranggruppenliste der universitären Standorte verschiedener akademischer Fachdisziplinen besteht. Durch die seit 2005 stattfindende Publikation in DIE ZEIT bzw. im ZEIT-Studienführer hat dieses Ranking eine hohe öffentliche Sichtbarkeit erhalten.

Seit der ersten Durchführung des CHE-Rankings sind in der Soziologie immer wieder Zweifel an dessen fachlicher Qualität geäußert worden. Dennoch haben die Institute unseres Faches mit Blick auf die Informationsbedürfnisse derer, die sich für ein Studium der Soziologie interessieren, an der Datenerhebung für das Ranking teilgenommen. Dass die Soziologie bzw. die Sozialwissenschaften in der Vergangenheit mit einem eigenen Professions- und Fachvertreter im CHE-Fachbeirat repräsentiert waren und dabei ihre Einflusskanäle und Kontrollaufgaben möglicherweise nicht oder jedenfalls nicht effektiv genug ausgeübt und genutzt haben, sei an dieser Stelle nicht verschwiegen, sondern durchaus selbstkritisch angemerkt.

Seit Mitte des letzten Jahres haben jedoch die sich häufenden fachlichen und wissenschaftspolitischen Bedenken an verschiedenen universitären Standorten der Soziologie zu einem Umdenken geführt. Das – vom CHE wiederholt sehr gut bewertete – Institut für Soziologie der Universität Jena beschloss zum damaligen Zeitpunkt, sich nicht weiter am Hochschulranking beteiligen zu wollen. Daraufhin hat sich der Vorstand der Deutschen Gesellschaft für Soziologie eingehend mit dem CHE-Ranking befasst. Nach dem Studium der zugänglichen Dokumentationen und einem längeren Gespräch mit den zuständigen Vertreterinnen des Centrums für Hochschulentwicklung gelangte der Vorstand diesbezüglich zu einer Einschätzung und Empfehlung, die im Folgenden dokumentiert werden. Das Konzil der DGS schloss sich dieser Einschätzung an und beschloss die daran anknüpfenden Empfehlungen auf seiner Sitzung vom 20. April 2012 einstimmig.

Fachliche und wissenschaftspolitische Beurteilung des CHE-Rankings

Das CHE-Ranking weist zum einen gravierende methodische Schwächen und empirische Lücken auf. Zum anderen laden die summarische Bewertungspraxis und die spezifischen Publikationsformate des Rankings systematisch zu Fehldeutungen ein. Auf beide Aspekte ist hier ausführlicher einzugehen.

Fachliche Beurteilung: Forschungsindikatoren

Die Qualität der an den einzelnen universitären Standorten geleisteten Forschung ist zumindest zeitweise auf der Grundlage von Publikationsdatenbanken erhoben worden, die nicht nur der Wissenschaftsrat, sondern mittlerweile auch das CHE selbst als nicht geeignet oder jedenfalls für das Fach Soziologie als nicht hinreichend aussagekräftig beurteilen. Ersatzweise berechnet das CHE nun zur Abbildung der Forschungsleistung die je (auf Haushaltsstellen) beschäftigten Wissenschaftler eingeworbenen Drittmittel. Dabei werden ohne weitere Differenzierung beispielsweise auch die Stellen des Hochschulpaktes – die ausdrücklich nicht für die Forschung, sondern zur Bewältigung von Lehrlasten geschaffen wurden – zum Divisor der Drittmittelgrößen gemacht. Faktisch bedeutet dies, dass sich mit steigender Lehrbelastung eines Instituts (etwa in der Lehrerbildung) rein rechnerisch dessen Forschungsleistung pro Kopf, die das CHE zu ›messen‹ beansprucht, verschlechtert. Dass hiervon insbesondere jene Universitäten betroffen sind, die aufgrund ihrer regionalen Lage im Zuge des Hochschulpaktes sehr viele Studierende aufgenommen haben, liegt auf der Hand. Damit obliegt die ›Beweislast‹ der Forschungsqualität der einzelnen Institute praktisch vollständig dem subjektiven Kriterium ihrer diesbezüglichen Reputation bei den Fachkollegen und -kolleginnen an anderen – in der Logik des Rankings: konkurrierenden – Standorten. Wer sich an der entsprechenden Befragung der Hochschullehrer/-innen einmal selbst beteiligt hat, weiß um deren methodische Schlichtheit und inhaltliche Undifferenziertheit. Die Aussagekraft solcher standortbezogener Pauschalurteile für Studieninteressierte als den erklärten Adressat/-innen des Rankings ist als durchaus zweifelhaft zu bezeichnen.

Fachliche Beurteilung: Lehrindikatoren

Für eben diese Adressat/-innen ist naheliegender Weise das zentrale Kriterium für eine mögliche Studienortentscheidung die Qualität der Lehre an unterschiedlichen soziologischen Instituten. Diese wird vom CHE jedoch maßgeblich auf der Grundlage einer Studierendenbefragung erhoben, die gekennzeichnet ist durch (a) schwache Rücklaufquoten (in der Soziologie zuletzt 19,3%), (b) geringe Fallzahlen (an jeder dritten Universität weniger als 30 Studierende des Faches) und (c) eine völlig ungeklärte Selektivität der Befragung, so dass die Gefahr von Zufallsaussagen entsprechend groß ist. Die Ziehung einer echten Zufallsstichprobe mit berechenbarer Auswahlwahrscheinlichkeit wird – was dem CHE durchaus bekannt ist – keineswegs von allen Universitäten geleistet. Zudem kann eine schriftliche Befragung ohne systematisches Mahnwesen und Nonresponse-Studie faktisch keinerlei Aussagekraft für sich beanspruchen und würde spätestens nach der Grundausbildung in der Methodenlehre für jede/n Soziologiestudierende/n schlicht als absurd erkennbar. Insofern sind an den Ergebnissen der Studierendenbefragung des CHE, die in der Diskussion um das Ranking nicht selten als Möglichkeit studentischer Partizipation qua Evaluation gewertet wird, massive Zweifel anzubringen.

Hingegen werden für die Einschätzung der Studiensituation wichtige, wenn nicht gar entscheidende, und von den Lehrenden nicht beeinflussbare Rahmenbedingungen überhaupt nicht in die Analyse (und Bewertung) einbezogen – so etwa (a) die jeweiligen Betreuungsrelationen (Lehrdeputat der auf Haushaltsstellen beschäftigten Dozent/-innen bezogen auf Kopf- bzw. Fallzahlen an Studierenden), (b) die damit verbundenen rechnerischen (und realen) Lehrveranstaltungsgrößen oder (c) die Leistungsfähigkeit von Prüfungsämtern. Auch wird auf die Erhebung qualitativer Daten verzichtet, die für die Lehrqualität an den einzelnen Standorten ebenso wie für die Studienwahlentscheidung potenzieller Studierender in höchstem Maße relevant sind bzw. wären, etwa die inhaltliche Schwerpunkt- und Profilbildungen in verschiedenen soziologischen Studiengängen oder die systematische Rückbindung der Lehre an die am jeweiligen Institut – wie drittmittelintensiv oder reputierlich auch immer – betriebene Forschungspraxis. Bei einer derart ungenügenden und äußerst selektiven, faktisch irreführenden Datenlage ist die Bildung einer Rangreihenfolge von Instituten mit Blick auf ihre Lehrleistung schlechterdings nicht zu rechtfertigen.

Wissenschaftspolitische Beurteilung: Bewertungspraxis und Publikationsformate

Dass das Centrum für Hochschulentwicklung aber eben dies bezweckt und in der Tat auch ›leistet‹, nämlich auf Grundlage einer äußerst zweifelhaften Datenbasis die universitären Standorte der Soziologie in ›gute‹ und ›schlechte‹ – oder ›bessere‹ und ›schlechtere‹ – Institute zu unterteilen und in entsprechender Scheineindeutigkeit hierarchisch zu listen, ist das eigentliche Problem des Hochschulrankings. Die Publikationsformate desselben laden mit ihrer pauschalen Bewertungspraxis und ihren vereinfachenden Darstellungsweisen zu systematischen Fehlwahrnehmungen der Sachlage im Fach Soziologie ein.

Zwar erhebt das CHE für die Soziologie insgesamt circa 18 Indikatoren für Forschungs- und Lehrqualität und veröffentlicht diese auch in der Internet-Version des Rankings – wobei man für die Beschreibung der einzelnen Indikatoren und ihrer Herleitung freilich aufs Kleingedruckte verweist, was die allerwenigsten Leser/-innen nachvollziehen dürften. In der Print-Version in DIE ZEIT bzw. im ZEIT-Studienführer werden aber nicht etwa diese 18 Indikatoren zu Indizes zusammengefasst, sondern vielmehr nur 5 - 6 Indikatoren selektiv ausgewiesen, ohne dass dies bei oberflächlicher Lektüre erkennbar wäre und die Auswahl überhaupt begründet würde. Dabei werden sowohl für die Forschungs- wie für die Lehrqualität ausschließlich die subjektiven Einschätzungen aus den – wie gesehen – methodisch äußerst zweifelhaften Befragungen als Bewertungen vorgelegt. In diesem Zusammenhang täuscht auch und gerade das simplifizierende Ranking mithilfe der (mittlerweile in die Farben Grün, Gelb und Blau überführten) Ampelsymbolik über die bemerkenswerte Dürftigkeit der Datenbasis hinweg; mitunter kann eine einzige binär codierte Antwort auf ein Fragebogenitem zu einem ›gute‹ oder ›schlechte‹ Leistungen signalisierenden Ampelsymbol führen. Das CHE-Ranking suggeriert, sich hierbei ohne Weiteres den massenmedialen Präsentationserfordernissen beugend, eindeutige und verlässliche Urteile, die durch die verfügbaren Daten keineswegs gedeckt sind – und wo ganz offenkundig systematische Differenzierungen und dichte Beschreibungen angebracht und angemessen wären.

Es ist schon für sich genommen bedenklich, dass damit eine Irreführung eben derer betrieben wird, denen das CHE-Ranking nach Bekunden des Urhebers primär dienen soll – also all jener, die sich für ein Studium der Soziologie interessieren und denen genauere Auskünfte über einzelne Standorte bei der Wahl des Studienorts und Studiengangs in der Tat durchaus behilflich sein könnten. Diesbezüglich ist es womöglich Glück im Unglück, dass – soweit die Lehrenden der Soziologie ermitteln können – zumindest kaum eine/r derjenigen, die heute das Fach an deutschen Universitäten studieren, sich dabei vom CHE-Ranking entscheidend hat beeinflussen lassen. Es wird offenbar nur von einer kleinen Minderheit der Studieninteressierten überhaupt ernsthaft zur Kenntnis genommen – und das ist auch gut so.

Wirklich problematisch hingegen – und gänzlich unabhängig von seinem mangelnden Informationswert – wirkt sich das CHE-Ranking wissenschaftspolitisch aus. Somit erfüllt es, will man den erklärten Absichten seiner Urheber Glauben schenken, de facto einen Zweck, für den es ›eigentlich‹ überhaupt nicht gedacht war. In der hochschulpolitischen Realität aber lädt das CHE-Ranking Fakultäts- und Hochschulleitungen sowie Ministerialbürokratien zu extrem simplifizierenden Lesarten ein, ja fordert diese geradezu heraus. Auf deren Basis können dann gegebenenfalls folgenschwere, jedoch sachlich im Zweifel unbegründete Strukturentscheidungen zur Soziologie als wissenschaftlicher Disziplin und zu ihren Studiengängen an einzelnen Standorten getroffen werden.

In Anbetracht der Gefahr solch politischer Verwendungsweisen des CHE-Rankings erscheint es umso bemerkenswerter, dass die Verantwortlichen des CHE sich nicht auf eine (wie auch immer unvollständig und unbefriedigend realisierte) Informationsfunktion beschränken wollen; auf die Konstruktion einer Rangreihenfolge der soziologischen Institute in Deutschland, die angemessener methodischer Grundlagen entbehrt, meinen sie nicht verzichten zu können. In dem Vorgespräch mit den CHE-Verantwortlichen wurde der Deutschen Gesellschaft für Soziologie von diesen offen mitgeteilt, dass es keine Möglichkeit für das Fach gebe, im Rahmen des vom CHE organisierten Verfahrens zwar seiner eigenen Informationsabsicht Genüge zu tun, sich der vorgegebenen Bewertungs- und Reihungspflicht hingegen zu entziehen. Für die DGS ist damit hinlänglich deutlich geworden, dass das CHE die Politisierung seines Hochschulrankings zumindest billigend in Kauf nimmt. Während die Urheber des Rankings behaupten, mit diesem bloß existierende Qualitätsunterschiede zwischen den universitären Standorten der Soziologie abzubilden, spricht nach Ansicht der Deutschen Gesellschaft für Soziologie viel dafür, dass das CHE-Ranking maßgeblich zur Konstruktion von ›Differenz‹ und damit zur Spaltung der Hochschullandschaft im Fach Soziologie beiträgt.

Im schlimmsten Fall wirkt das Ranking damit langfristig im Sinne einer ›self-fulfilling prophecy‹: Was auf vermeintlich gesicherter empirischer Basis als ›guter‹ oder ›schlechter‹ Standort ausgewiesen wird, entwickelt sich womöglich auf lange Sicht – aufgrund von dadurch veranlassten strukturpolitischen Entscheidungen und irgendwann dann doch entsprechend sich verändernden Studierendenströmen – auch real zu einem solchen. Die Soziologie weiß wie keine zweite wissenschaftliche Disziplin um die handlungsleitenden Effekte sozialer Situationsdefinitionen. Sie sieht sich daher in der wissenschaftlichen Pflicht, auf die weitreichenden Konsequenzen von auf falschen Situationsdefinitionen beruhenden Handlungen hinzuweisen – und in der wissenschaftspolitischen Verantwortung, nicht weiterhin selbst zu solchen Konsequenzen beizutragen.

Empfehlungen zum Umgang mit dem CHE-Ranking

Weil das CHE-Ranking erstens gravierende methodische und empirische Mängel aufweist, zweitens Studieninteressierten als seiner erklärten Zielgruppe wesentliche Informationen vorenthält, dafür aber drittens wissenschaftspolitische Entscheidungsträger zu Fehlentscheidungen provoziert, muss sich das Fach Soziologie gegen diese Darstellung seiner Lehr- und Forschungsleistungen in der Medienöffentlichkeit zur Wehr setzen. Vorstand und Konzil der Deutschen Gesellschaft für Soziologie gelangen auf der Basis dieser Einschätzung und den zuvor ausgeführten Begründungen derselben zu folgenden Empfehlungen:

Nachdem unsere Analysen und die Diskussion der erheblichen methodischen Mängel mit den zuständigen Vertreterinnen des CHE keine Aussicht auf zukünftige wesentliche Verbesserungen des CHE-Rankings ergeben haben, stellen wir hiermit fest, dass diese Evaluation grundlegenden Qualitätsanforderungen der empirischen Sozialforschung nicht entspricht. Als Fachgesellschaft der Soziologie fordern wir die soziologischen Institute an deutschen Hochschulen dazu auf, nicht länger durch ihre Teilnahme an diesem Ranking den Eindruck zu erwecken, dass sie ein empirisches Vorgehen unterstützen, das die Soziologie aus fachlichen Gründen ablehnen muss. Konkret bedeutet dies, dass die soziologischen Institute diesen Beschluss und seine fachliche Begründung gegenüber ihren Fachbereichs- und Hochschulleitungen sowie ihren Studierenden vertreten und erklären und sich insbesondere nicht an der für kommendes Jahr vorgesehenen Datenerhebung für das nächste CHE-Ranking der Soziologie beteiligen sollen.
Die DGS appelliert an wissenschaftspolitische Entscheidungsträger auf Hochschul- und Ministeriumsebene, sich bei ihren Überlegungen und Interventionen zur Weiterentwicklung des Fachs Soziologie an seinen verschiedenen Standorten nicht länger auf Einschätzungen und Informationen zu stützen, die aus dem CHE-Ranking hervorgehen. Es gibt bereits vorliegende verlässlichere Auskünfte; und im Einzelfall sollten anlassbezogene Evaluationen durchgeführt werden, wofür sowohl geeignete Konzepte als auch unvoreingenommene Einrichtungen bereitstehen.
Als empirisch arbeitendes sozialwissenschaftliches Fach beansprucht die Soziologie eine besondere Kompetenz bei der Beurteilung aller Arten von empirischer Sozialforschung, wozu auch Evaluationen wie das CHE-Ranking gehören. Diese Kompetenz impliziert im vorliegenden Fall die Verantwortung, auch anderen, diesbezüglich womöglich weniger sensiblen Fächern zu empfehlen, sich nicht länger am CHE-Ranking zu beteiligen. Denn die für die Soziologie festgestellten gravierenden Mängel und missbräuchlichen Nutzungen dieses Rankings kennzeichnen dessen Anwendung auf andere Fächer in gleicher Weise.
Die Soziologie ist ein in jedem Sinne evaluationskundiges Fach. Aus diesem Grund hat sie sich im Jahre 2006 für eine Pilotstudie des Wissenschaftsrates zum Rating (und gerade nicht Ranking) von Forschungsleistungen zur Verfügung gestellt. Dieses wissenschaftliche Rating hat in einem Verfahren von erheblicher sozialer und sachlicher Komplexität exemplarisch deutlich gemacht, welchen Anforderungen eine seriöse und valide Wissenschaftsevaluation mindestens genügen muss. Um darüber hinaus den spezifischen und berechtigten Wünschen derer, die an einem Studium der Soziologie interessiert sind, nach einer Entscheidungshilfe bei der Studienfach- und Studienortwahl nachzukommen, wird die DGS selbst ein öffentlich zugängliches Informationsangebot aufbauen, in dem in Gestalt deskriptiver Informationen vor allem auch die lokalen Fachprofile ausgewiesen werden.

Diese Stellungnahme, ihre Kurzfassung sowie jeweils aktuelle Informationen zu der hiermit eingeleiteten wissenschaftspolitischen Initiative der DGS finden sich im Internet unter www.soziologie.de/che.