Jusletter IT

Friedrich Lachmayer prägte in den letzten Jahrzehnten die Rechtsinformatik als wissenschaftliche Disziplin grundlegend. Ohne seine andauernden Bemühungen um dieses Fachgebiet wären pointiert formulierte Todesmeldungen¹ zu diesem Wissenschaftszweig vielleicht mehr als nur ein zugespitzter Diskussionsanstoß.

Aber auch in der Praxis beim Aufbau und der laufenden Weiterentwicklung des Rechtsinformationssystems (RIS) zu einem zentralen Baustein der digitalen juristischen Infrastruktur Österreichs ist ihm viel zu verdanken.

Die Entwicklung von juristischen Informationssystemen gehörte von Anfang an zu den zentralen Aufgaben und Herausforderungen für die Rechtsinformatik. Dabei wurde der Begriff des juristischen Informationssystems letztlich mit dem des juristischen Dokumentationssystems gleichgesetzt, auch wenn man eine umfangreichere „Typologie juristischer Informationssysteme“² erarbeitet hatte.

Wenn im Folgenden auf das RIS Bezug genommen wird, dann steht diese Funktion als juristisches Dokumentationssystem – in der Praxis als Suchmaschine für Rechtsprechungs- und Normendokumente – im Vordergrund. Andere Funktionen, wie z.B. die authentische Kundmachung von Rechtsvorschriften, sind zwar wesentlich für das RIS als Komponente der digitalen juristischen Infrastruktur Österreichs, jedoch soll es hier um Fragen der Objektivität von Daten und Rechtsinformationssystemen gehen.

Bei der Entwicklung der ersten Rechtsdatenbanken wurde die Frage, welche Daten in einem juristischen Dokumentationssystem enthalten sein sollen, intensiv diskutiert. Reisinger begründet daher auch im Zusammenhang mit der Entwicklung der Rechtsdatenbank juris die Forderung nach Objektivität ausführlich³:

Ein umfassendes, einem breiten Publikum zur Verfügung stehendes juristisches Informationssystem würde durch die Kanalisierung des Zugangs und eine gewisse Monopolstellung zwangsläufig in hohem Grade meinungsbildende Bedeutung besitzen. Es wäre daher unerträglich, wenn ein solches System die Pluralität dokumentierter juristischer Standpunkte reduzieren oder deren quantitative Repräsentation verschieben würde; das System müsste gerade umgekehrt zur getreuen Anzeige dieser Verhältnisse dienen können. Aus diesem Grund ist die Frage der „Objektivität“ für Juris von entscheidender Bedeutung.

Im Anschluss an diese grundlegenden Ausführungen ist auch eine Definition des Begriffs Objektivität zu finden:

„Objektivität“ bedeutet bei einem Dokumentationssystem im Grunde, dass das durch ein System gegebene „Modell“ dem Urbild der Gesamtheit einschlägiger Dokumente analog (homomorph oder isomorph) ist.

Zusätzlich wird auch die Forderung nach Transparenz erhoben, wobei diese sowohl die technischen Systemkomponenten als auch die Dokumente und etwaige Bearbeitungen betrifft.

Bei der Entwicklung von Rechtsdatenbanken wie dem RIS wurden in der Folge auch Forderungen wie die gerade zitierten berücksichtigt. Die so entstandenen juristischen Dokumentationssysteme sollen eine definierte Menge juristischer Dokumente speichern und such- bzw. abrufbar machen.

Die Dokumente selbst und auch die statistischen Häufigkeiten, die sich aus den dokumentierten (möglichst) unveränderten Daten ergeben, werden nicht verändert. Auch wenn technisch zahlreiche Bearbeitungsschritte, wie z.B. die Erzeugung von Indizes für die Volltextsuche, notwendig sind, bleibt das System objektiv und damit in dem Sinn passiv, dass keine neuen Dokumente erzeugt oder Dokumente verändert werden.

In Bezug auf die Entwicklung der technischen Grundlagen schien es in den letzten Jahrzehnten, als ob diese für die Basistechnologie von Volltextdatenbanken abgeschlossen wäre. Zahlreiche Open-Source-Projekte (Apache Solr, Elasticsearch, OpenSearch, ...) ermöglichten auch einen kostengünstigen Zugang zu dieser Technik.

Das technische Grundprinzip dieser Systeme blieb aber – nicht zuletzt wegen des Gebots der Objektivität – gleich: Über Suchkriterien werden Dokumente gefunden und unverändert angezeigt. Das Suchergebnis wird durch die Benutzer:innen analysiert und bewertet.

Laufende Anpassungen und Weiterentwicklungen im Bereich der Benutzeroberflächen und Schnittstellen wurden durch die allgemeine technische Entwicklung angestoßen, änderten aber nichts an dem Konzept eines objektiven Dokumentationssystems.

Im Zusammenhang mit den Entwicklungen im Bereich der künstlichen Intelligenz änderte sich dies. Zuerst allgemein für den Bereich der Suche im Internet. Doch auch für die Rechtsinformationssysteme ist absehbar, dass die intensiv geführte Diskussion im Bereich der Suchtechnologien für diesen Fachbereich relevant wird.

Diskutiert wurde vor allen, in welchem Ausmaß in Dokumenten enthaltene Daten für Benutzer von Suchmaschinen als Suchergebnis aufbereitet und zusammengefasst werden sollen. Es geht um eine Abkehr vom Konzept der Objektivität hin zu einer Maschine, die eigenständig Dokumente als Suchergebnisse erzeugt.

Diese grundsätzliche Diskussion begann bereits, bevor ChatGPT und ähnliche Systeme einer breiten Öffentlichkeit verfügbar waren. Ausgangspunkt waren die Überblicksdarstellungen, die von Suchmaschinen wie Google generiert wurden. Wichtige Debattenbeiträge waren z.B.:

• The Dilemma of the Direct Answer⁴: Festgestellt wurde, dass „retrieval technology has been evolving to a kind of ‚oracle machinery‘, being able to recommend a single source, and even to provide direct answers extracted from that source“. Dies hat auch Nachteile, vor allem wenn die Dokumentaufbereitung für die Suche nur mehr maschinell durchgeführt wird und sich damit neue Konzepte der Organisation von Wissen durchsetzen. „Due to the explosive growth of information, knowledge can no longer be organized manually by humans, but the organization is handed over to machines, which store the knowledge and provide interfaces to access it. While manual forms of organizing knowledge were and are often top-down hierarchies of categories, representing an agreed-upon ontology, knowledge organization by machines is mostly associative.“ Dies beschränkt die Möglichkeiten des Dokumentenzugangs und schränkt die Benutzer ein.
• Rethinking Search⁵: Die Gegenposition dazu ist natürlich, dass Benutzer:innen nicht mühsam Verweise auf Dokumente analysieren wollen, sondern durch einen Experten beraten werden wollen. Es geht um das Zusammenführen klassischer Konzepte des information retrieval und der neuen KI-Sprachmodelle, denn diese könnten in Zukunft „be synthesized and evolved into systems that truly deliver the promise of domain expert advice“.
• Situating Search⁶: Hier wird Recherche in Verbindung mit Lernen gebracht und in einem größeren Kontext behandelt. Die Ansätze zur automatisierten Generierung von Texten, die Daten als Antwort auf eine Suchanfrage zusammenfassen, werden kritisch gesehen.

Spätestens seit der Integration von ChatGPT in die Suchmaschine bing durch Microsoft wurden Fakten⁷ geschaffen, die eine differenzierte Diskussion über mögliche technische Weiterentwicklungen auf dem Gebiet der Suchmaschinen obsolet erscheinen lässt. Das Konzept der Objektivität von Dokumentationssystemen wird nicht mehr weiter verfolgt.

Systeme wie das RIS sind von diesen Entwicklungen noch nicht betroffen, weshalb auf dem Gebiet der Rechtsinformatik die Diskussion über diese Zukunft juristischer Informationssysteme weitergeführt werden sollte.

Der allgemeine Begriff der juristischen Informationssysteme umfasst dabei nicht nur Rechtsdatenbanken. Denn sobald ein System dazu genutzt wird, selbständig Texte auf Grund vorhandener Daten als Wissensbasis und analysierter Suchanfragen zu erzeugen, ist es ein Subsumtionsautomat.

Bemerkenswert ist im Zusammenhang mit KI und den dabei verwendeten Methoden des natural language processing, dass bereits Reisinger diese technischen Möglichkeiten geschätzt hätte, wenn er zur Benutzeroberfläche von Rechtsdatenbanken feststellt: „Es wäre wünschenswert, wenn der Benutzer seine Frage möglichst mit eigenen Worten frei formulieren könnte.“⁸

In Abgrenzung zu den „klassischen“ juristischen Dokumentationssystemen, den Rechtsinformationssystemen, wird hier für die auf KI-Sprachmodellen aufbauenden generativen Systeme der Begriff Rechtstransformationssysteme verwendet. Er ist angelehnt an den „Slogan“ der Akteur-Netzwerk-Theorie: „Es gibt keine In-formation, nur Trans-Formation.“⁹

Dadurch soll prägnant dargestellt werden, dass die Interpretation von Daten und die damit verbundene Gewinnung von Information kein „transparentes Fenster ist, das ohne Deformation irgendeine Information … transportiert“¹⁰.

Dieser Problematik waren sich die Entwickler der ersten Rechtsinformationssysteme auch bewusst, wenn sie Objektivität und Transparenz als wichtige Ziele definierten. Es wurde aber versucht, diese Deformation so gering wie möglich zu halten.

Die aktuellen Entwicklungen auf dem Gebiet der KI unterscheiden sich sowohl in dem Objektivitätsbegriff als auch bei Transparenz wesentlich von den „klassischen“ Ansätzen.

Reisinger fand es „unerträglich“, wenn ein System „die Pluralität dokumentierter juristischer Standpunkte reduzieren oder deren quantitative Repräsentation verschieben würde“.

Eine derartige Verschiebung der quantitativen Repräsentation kann bei einem Rechtsinformationssystem sowohl auf der Ebene der Daten, die darin dokumentiert sind, als auch auf der Ebene der maschinellen Auswertung und Darstellung z.B. im Rahmen von Suchanfragen passieren.

Die Ebene der Daten betrifft die Auswahl und Aufbereitung der juristischen Dokumente.

Im Bereich der Auswertung können auf der Maschinenebene die (Such-)Algorithmen und die Methoden der Ergebnisdarstellung (Sortierung, Relevanzanalyse und -gewichtung, …) zu einer Verschiebung der quantitativen Repräsentation führen. Wesentlich für die Möglichkeit einer Analyse solcher Verschiebungen ist die Wiederholbarkeit der Auswertungen.

Bei der Entwicklung von KI-Anwendungen, insbesondere im Bereich des machine learning (ML), ist bei der Modellbildung und auch auf der Maschinenebene ein völlig anderer Zugang zu diesen klassischen Grundvoraussetzungen für Objektivität von Rechtsinformationssystemen zu erkennen.

In Rechtsinformationssystemen kann jedes einzelne Dokument auf Grund von Wortlisten (Volltextindizes) bei Eingabe mit gleicher oder ähnlicher Wahrscheinlichkeit gefunden werden. Damit ist – zumindest vom konzeptionellen Ansatz her – bei der Modellbildung und Datenaufbereitung jedes einzelne Dokument gleich relevant. Eine Gewichtung und Relevanzbewertung wird nur in Hinblick auf die im Rahmen einer Recherche eingegebenen Suchparameter vorgenommen.

Ganz anders ist dies auf dem Gebiet des ML. Im Anschluss an die Modellbildung bzw. Dokumentauswahl und -aufbereitung wird im Rahmen von Trainings- und Testvorgängen ein System an ein gewünschtes Ergebnis angenähert und optimiert. Da dies (auch) über statistische Näherungsalgorithmen durchgeführt wird, wird in den internen Parametern des ML-Systems auch eine statistische Gewichtung abgebildet. Dies bedeutet immer auch, dass häufiger vorkommenden Daten eine größere statistische Bedeutung zugewiesen wird.

Sollen Dokumente einer bestimmten, selten vorkommenden Kategorie gleich relevant wie andere aus Kategorien mit vielen Dokumenten sein, dann müssen die Daten im Rahmen der Modellbildung entsprechen angepasst werden.

Diese Vorgangsweise wird z.B. bei einem System zur Vorhersage von Entscheidungen des EGMR detailliert beschrieben¹¹:

For example, we might want to train a program that predicts whether there is a violation of Article 13, and feed it all 170 ‚non-violation‘ cases together with all 1230 ‚violation‘ cases. With such a clear imbalance in the number of cases per type, it is likely that the program will learn that most of the cases have a violation and then simply predict ‚violation‘ for every new case (the performance will be quite high: 88% correct). In order to avoid this problem, we instead create a balanced dataset by including the same number of violation cases as the number of non-violation cases. We randomly removed the violation cases such that the distribution of both classes was balanced (i.e. 170 violation cases vs. 170 non-violation cases). The excluded violation cases were subsequently used to test the system.

Die Verschiebung der quantitativen Repräsentation ist in diesem Fall eine zentrale Methode der Systementwicklung. Die Transformation von Daten in statistisch an die Trainingsalgorithmen von ML-Systemen angepasste Datenmodelle ist daher eine Grundvoraussetzung für diese Art von KI-Anwendungen.

Weizenbaum¹² bezeichnete Programmierer als „Schöpfer von Universen, deren alleiniger Gesetzgeber“ sie sind. Ihre Schöpfungen „gehorchen bereitwillig ihren Gesetzen“.

Doch nicht nur die vom Programmierer entwickelten Programme, auch deren Benutzer:innen sind von den Entscheidungen der Software-Entwickler betroffen. Wie sehr persönliche Werthaltungen in Codes einfließen, wurde bereits vor über 30 Jahren im Zusammenhang mit regelbasierten KI-Anwendungen beschrieben:¹³

Er [ein 46jähriger KI-Forscher] berichtet von einem Expertensystem, das er zusammen mit Kollegen zur Personaleinteilung in einem Krankenhaus entwickelt hat. Dabei habe man sich auch über Gerechtigkeit verständigt und versucht, diesen moralischen Wert in das System zu integrieren, etwa in Form der Regel, dass jemand nicht unmittelbar vor oder nach seinem Urlaub zum Wochenenddienst eingeteilt wird.

Der Terminus „Programmierer als Gesetzgeber“ bezeichnet einen Aspekt der Software-Entwicklung treffend.

Bei der Modellbildung für ML-Systeme werden ebenso Wertungen getroffen. Es fließen auch „nicht technische“ Sichtweisen ein. Welche Daten berücksichtigt bzw. nicht berücksichtigt werden, welche Rolle ihnen zugewiesen wird (Trainings- oder Testdaten oder im Modell nicht berücksichtigt¹⁴), kann von persönlichen Werthaltungen, aber auch von technischen Schwierigkeiten oder entsprechendem Fachwissen bzw. dessen Mangel abhängen.

Der Terminus „Daten-Analyst/Modellierer als Gesetzgeber“ wäre daher auch im Zusammenhang mit modernen KI-Systemen zutreffend.

Diese Form der bewertenden Transformation ist ein Aspekt des Begriffs Rechtstransformationssystem. Im Gegensatz zum Rechtsinformationssystem, das versuchte, juristische Daten objektiv, also mit möglichst geringer Verschiebung der quantitativen Repräsentation abzubilden, ist dies bei diesen sogar die Voraussetzung.

Das bisher gültige Konzept der Objektivität von Daten bzw. der auf diesen aufbauenden Modelle ist daher für den Bereich von ML-Systemen nicht mehr anwendbar.

Häufig wird daraus auf eine mangelnde Objektivität der KI-Systeme geschlossen¹⁵. Dies ist jedoch nicht möglich, da die Objektivität von Maschinen etwas anderes ist als die von Daten.

Nassehi betont: „Die Funktion von Technik ist das Funktionieren.“¹⁶ Das bedeutet, die maschinelle Objektivität liegt im Funktionieren. Eine Maschine funktioniert oder funktioniert nicht wie erwartet.

Diese Form der Objektivität, die damit verbundene „Niederschwelligkeit des Nutzens“ und „Niederschwelligkeit des Funktionierens“¹⁷ steht einer Reflexion über Inhalte entgegen. Maschinen werden eingesetzt, „nicht weil sie konzeptuell überzeugend sind, sondern weil sie funktionieren“¹⁸.

Die maschinelle Objektivität hat zur Folge: „Das Überzeugende technischer Lösungen besteht darin, dass sie funktionieren, und das Funktionieren verzichtet auf Beobachtung, sondern erzeugt einen Sog durch seine Einfachheit.“¹⁹

Das bedeutet, dass Reflexionen über die Gestaltung, aber auch über die Sinnhaftigkeit des Einsatzes von Rechtstransaktionssystemen vor allem auf der Ebene der Modellbildung anzusiedeln sind. Der Sog der Einfachheit macht eine kritische Reflexion²⁰ während der Verwendung einer Maschine schwer.

Aber auch die Idee der Wiederholbarkeit von Rechenergebnissen bzw. Systemverhalten wurde bei ML-Systemen aufgegeben. Dies zeigt das Beispiel einer Abfrage in GPT-3 im nächsten Abschnitt.

Eines der zentralen Probleme beim Einsatz modernen ML-Anwendungen ist, dass sie black-box-Systeme²¹ sind, die auch mit jedem Update ihr Verhalten ändern können.

Auf Grund ihres technischen Aufbaus, aber auch weil Datenmodelle dieser Systeme nicht frei zugänglich und analysierbar sind, ist deren Verhalten nicht transparent.

Dies ist nicht weiter überraschend, wurde doch schon vor Jahrzehnten vorausgesagt, dass die KI-Systeme der Zukunft „mit Sicherheit in ihrem inneren Ablauf undurchschaubar sein“²² werden.

Gerade im Rechtsbereich sind jedoch nachvollziehbare Begründungen von grundlegender Bedeutung. Die folgende Wiedergabe einer Abfrage in GPT-3 zeigt, dass sogar wenn eine ausführliche Begründung bei der Beantwortung einer kurzen Rechtsfrage angefragt wurde, diese nicht den grundlegenden Anforderungen in diesem Fachbereich entspricht. Vor allem zeigt die Tatsache, dass sich die Begründung bei jeder Antwort ändert, keine transparente Argumentation, sondern nur bedeutungsleere²³ Zeichenfolgen – in einem Fall sogar in Form eines fehlerhaften Syllogismus - generiert werden.

Die gestellte Frage wurde in Anlehnung an ein Beispiel in einer Muster-Klausur²⁴ gestellt:

Auch diese Voraussetzung für Objektivität von Rechtsinformationssystemen wird bei Rechtstransformationssystemen nicht mehr erfüllt.

Der Begriff des Rechtstransformationssystems weist auch auf einen anderen Aspekt der aktuellen Entwicklung im Zusammenhang mit KI-Systemen hin. Vielfach wird – auch auf Grund der verfehlten Annahme einer Objektivität der Systeme (siehe oben) – gefordert, dass sich das Rechtssystem an die vorhandene, anscheinend überlegene Technik anpassen muss. Es wird eine neue Form von Recht gefordert, die über KI, insbesondere ML-Technik, definiert wird.

Ein Beispiel dafür ist die Ankündigung einer „Legal Singularity“²⁵. Diese tritt ein, wenn „machines themselves will be able to fully ‚understand‘ the law“²⁶. In diesem Endzustand ist auch eine Fortbildung und Weiterentwicklung des Rechts nicht mehr notwendig, denn „the equilibrium that would be reached would be based on positive and normative convergence of facts and values“²⁷.

Unabhängig von solchen Prognosen muss die Frage, wie die neuen technischen Konzepte das Rechtssystem beeinflussen und vielleicht sogar dominieren, diskutiert werden.

Sie führt aber auch in der Rechtsinformatik zu einer neuen Methodendiskussion, die auch an dem Hauptthema der Tagung IRI§23 erkennbar wurde, das lautete: Rechtsinformatik als juristische Methodenwissenschaft²⁸.

Die vorangehenden Beispiele haben gezeigt, dass die Methoden, die bei der Entwicklung von Rechtstransformationssystemen eingesetzt werden, nur schwer mit den bisher angewendeten Methoden und dem Konzept für Rechtsinformationssysteme vereinbar sind.

Diese methodischen Probleme werden noch stärker sichtbar werden, wenn deutlich wird, dass auch bei der Entwicklung von ML-Systemen, die als primär statistische Systeme anzusehen sind, regelbasierte Ansätze beim fine-tuning²⁹ Anwendung finden.

Das früher durch den mit regelbasierten Methoden verbundenen Aufwand aufgetretene „knowledge representation bottleneck“³⁰ und die methodischen Unterschiede zur Entwicklung von Modellen für ML-Anwendungen werden nicht einfach verschwinden.

Eine intensive Diskussion dieser Aspekte der Rechtstransformationssysteme und der Auswirkungen ihres Einsatzes ist notwendig, bevor man vom maschinellen Sog der Einfachheit überwältigt wird.

Alarie, Benjamin, The Path of the Law: Toward Legal Singularity, http://dx.doi.org/10.2139/ssrn.2767835, May 27 2016 [aufgerufen am 4. Mai 2023]

Alarie, Benjamin/Niblett, Anthony/Yoon, Albert H., How Artificial Intelligence Will Affect the Practice of Law, The University of Toronto Law Journal, 2018 (68), Supplement 1, 106–124

Ashley, Kevin D., Artificial intelligence and legal analytics: new tools for law practice in the digital age, Cambridge University Press, Cambridge 2017

Bender, Emily M./Gebru, Timnit/McMillan-Major, Angelina/Shmitchell, Shmargaret, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, FAccT ‚21, 2021, 610–623

Hoeren, Thomas, Von Judge Judy zum Beck-Blog: Die Rechtswissenschaft der Berliner Republik im medialen Wandel. In: Duve, Thomas/Ruppert, Stefan (Hrsg.), Rechtswissenschaft in der Berliner Republik, Suhrkamp, Berlin 2018, 212–237

Isbell, Charles/Littman, Michael L./Norvig, Peter, Software Engineering of Machine Learning Systems, Communications of the ACM, 2023 (66), 2, 35–37

Kramer, André, Ein reizbarer Bot, c’t, 2023, Heft 8, 118-123

Latour, Bruno, Eine neue Soziologie für eine neue Gesellschaft, 4. Auflage, Suhrkamp, stw 1967, Frankfurt am Main 2017

McGinnis, John O./Pearce, Russel G., The Great Disruption: How Machine Intelligence Will Transform the Role of Lawyers in the Delivery of Legal Services, Fordham Law Review, 2014 (82), Issue 6, 3041–3066

Medvedeva, Masha/Vols, Michel/Wieling, Martijn, Using machine learning to predict decisions of the European Court of Human Rights, Artificial Intelligence and Law, 2020 (28), Issue 6, 237-266

Metzler, Donald/Tay, Yi/Bahri, Dara/Najork, Marc, Rethinking Search: Making Domain Experts out of Dilettantes, SIGIR Forum, 2021 (55), Nr 1, 1-27

Nassehi, Armin, Muster - Theorie der digitalen Gesellschaft, 2. Auflage, C. H. Beck, München 2019

Popolari, Markus, Der Subsumtionsautomat? Rechtsfindung an der Schnittstelle zwischen Mensch und Maschine (Koreferat). In: Feldner, Birgit/Forgó, Nikolaus/Kremnitzer, Udo/Philapitsch, Florian (Hrsg.), Chaos Control, Manz, Wien 2001, 39–43

Potthast, Martin/Hagen, Matthias/Stein, Benno, The Dilemma of the Direct Answer, SIGIR Forum, 2020 (54), Nr 1, 1-12

Reisinger, Leo, Rechtsinformatik, De Gruyter, Berlin – New York 1977

Schachtner, Christel, Geistmaschine, Suhrkamp, stw 1072, Frankfurt am Main 1993

Shah, Chirag/Bender, Emily M., Situating Search, CHIIR ‚22, 221–232

Unseld, Godela, Maschinenintelligenz oder Menschenphantasie?, Suhrkamp, stw 987, Frankfurt am Main 1992

Weizenbaum, Joseph, Die Macht der Computer und die Ohnmacht der Vernunft, Suhrkamp, stw 274, Frankfurt am Main 1978