Seit einigen Wochen veröffentliche ich den Wochenrückblick, in dem ich regelmäßig über aktuelle Nachrichten aus der KI-Welt berichte. Auch in dieser Woche gab es drei Neuigkeiten, die ich euch nicht vorenthalten möchte. Endlich gibt es auch wieder neue Modelle!
RWKV-Paper veröffenlicht
Nicht alles in der Welt der Large Language Models (LLM) beruht auf Transformers. Sie sind ein Weg, aber nicht der einzige. Das Team rund um Peng, Alcaide und Anthony hat mit Receptance Weighted Key Value (RWKV) eine neue Methode und Architektur entwickelt, mit der es möglich ist, LLMs über rekurrente neuronale Netze (RNNs) statt Transformer umzusetzen.
Der Hintergrund ist, dass beim Einatz von Transformern die Speicher- und Rechenkomplexität eine große Herausforderung darstellt. Sie wächst quadratisch, während RNNs ein lineares Wachstum aufweisen. RNNs mit klassischen Architekturen wiederum waren allerdings nicht so leistungsfähig wie gewünscht. RWKV versucht nun, die Leistungsfähigkeit bei RNNs deutlich zu verbessern, sodass sie mit Transformern mithalten und ihre Skalierungsvorteile ausnutzen können.
Die Ergebnisse wurden vorab in einem Preprint veröffentlicht und können z. B. auf Hugging Face ausprobiert werden. Der Code befindet sich auf GitHub. Schauen wir also, wie sich das Projekt in den nächsten Wochen entwickelt.
Falcon-Modelle erschienen
Wie bereits in den letzten Wochen erwähnt, entwickelt sich die LLM-Welt durch die Verbreitung der Open-Source-Modelle sehr schnell weiter. Für einige zu schnell und andere nutzen aktiv die Chancen aus. Meta geht aktuell eindeutig als Gewinner hervor, da LLaMA die Grundlage für viele andere erfolgreiche Entwicklungen bildet. Der Vorteil von LLaMA ist, dass hier die Gewichte für ein sehr leistungsfähiges Modell bereitstehen. Dementsprechend nahm bisher LLaMA auch einen der führenden Plätze auf dem Open LLM Leaderboard ein.
Konkurrenz kommt nun aus Abu Dhabi vom Technology Innovation Insitute (TII). Ein Team des Forschungsinstituts hat nun ein neues Modell unter dem Namen Falcon veröffentlicht, welches bei den Metriken AI2 Reasoning Challenge, HellaSwag und MMLU bessere Werte einfährt. Einzig bei TruthfulQA haben llama-65b und llama-30b-supercot noch die Nase vorn.
Bereitgestellt wird das Modell unter der "TII Falcon LLM License", einer modifizierten Apache-2.0-Lizenz, das Paper erscheint demnächst. Verfügbar ist Falcon mit 40 Mrd. Parametern und mit 7 Mrd. Parametern.
Gerichtsakten erfunden
LLMs sind Sprachmodelle. Das bedeutet, ihr Ziel ist es, bestimmte Inhalte in einer natürlichen Sprache auszugeben - unabhängig vom Wahrheitsgehalt, der Semantik. Als Nebenprodukt können sie einige ausgewählte Fakten wiedergeben.
Dieser Umstand ist und bleibt nur wenigen bewusst. Viele denken, mit ChatGPT & Co. könnte man recherchieren. Das ist aber falsch, denn wenn keine Document Retrieval integriert ist und richtig funktioniert, wird ein LLM eine Lösung ausgeben, die zwar schön klingt, aber nicht unbedingt stimmt. Im Podcast habe ich beiläufig mal erwähnt, dass damit eine Patentrecherche nahezu unmöglich wird, aber ich hätte nie gedacht, dass sowas in freier juristischer Wildbahn eingesetzt wird.
Nun, ich wurde eines besseren belehrt. ChatGPT wird noch zu häufig als Suchmaschine zweckentfremdet und gibt dann falsche Ergebnisse aus. Besonders bemerkenswert: in diesem und dem Betrugsüberprüfungsfall aus letzter Woche wurde die Plausibilitätsprüfung ebenfalls an ChatGPT übergeben. Wie soll ein Modell auf "Stimmt das, was du sagst?" überhaupt antworten?
Bleibt zu hoffen, dass wir auch in der kommenden Woche über viele interessante neue Methoden und Modelle und weniger über die Falschbedienung von LLMs berichten können.
