Dev News Daily ENDE

llama.cpp und ggml erreichen v1.0.0 und versprechen Major-Sprünge bei jedem Bruch der C-API

Das Team von ggml-org hat Version 1.0.0 von llama.cpp, der C/C++-Bibliothek zum lokalen Ausführen von Sprachmodellen, und von ggml, der darunterliegenden Tensor-Bibliothek, veröffentlicht. Die Ankündigung im Hugging-Face-Blog, gezeichnet von Daniel Bevenius, Georgi Gerganov und Merve, präsentiert die Versionsnummer weniger als Funktionsmeilenstein denn als Zusage an die Entwickler, die auf beiden Bibliotheken aufbauen.

Künftig kennzeichnen beide Projekte Inkompatibilitäten in API und ABI mit einem Major-Sprung. Die Regeln gelten für alle ggml-org-Projekte mit semantischer Versionierung: Eine brechende Änderung an der öffentlichen C-API in ./include erhöht die Major-Version; ein abwärtskompatibles Feature, ein Backend-Update, neue Modellunterstützung oder eine API-Ergänzung erhöhen die Minor-Version; ein Bugfix ohne API-Änderung erhöht die Patch-Nummer. Die öffentlichen Header liegen in llama.cpp/include/ für libllama und in ggml/include/ für libggml. Mit wachsender Verbreitung will das Team diese Grenzen für nachgelagerte Nutzer strenger sichtbar machen.

Das Projekt ist laut Beitrag dreieinhalb Jahre alt, und viele Anwendungen hängen bereits davon ab. Genannt werden die aktuellen Vertriebswege: Vorab-Artefakte für Linux, macOS, Windows, Android und iOS, dazu Docker, Debian, Homebrew, conda-forge, MacPorts, Winget und ein XCFramework für iOS und macOS.

Zur Entwicklungspraxis schreibt das Team, es setze LLMs im Entwicklungszyklus ein, behalte aber die Kontrolle über die Architektur und das Verständnis der Implementierung als oberste Priorität. Die CI-Kapazität wurde mit Hugging Face Buckets und Jobs ausgebaut, und Hardware-Unterstützung von NVIDIA, AMD, Qualcomm, Arm, IBM und Intel bringt selbst gehostete Runner auf allen wichtigen Plattformen.

ggml erreicht diese Hardware über eigene Backends, die sich jeweils als dynamische Bibliothek bauen und zur Laufzeit laden lassen. Laut Ankündigung unterstützt llama.cpp mehr als 150 Architekturvarianten und alle gängigen Verfahren des spekulativen Decodings.

llama.cpp und ggml erreichen v1.0.0 und versprechen Major-Sprünge bei jedem Bruch der C-API
llama.cpp und ggml erreichen v1.0.0 und versprechen Major-Sprünge bei jedem Bruch der C-API — Dev News Daily

Warum es wichtig ist

Bisher hatte ein Nutzer von libllama keine Versionsnummer, die verriet, ob ein Update den Build bricht. Mit den Headern in ./include als Vertrag können Paketierer und Anwendungsautoren eine Major-Version festhalten und Minor- und Patch-Updates übernehmen. Das ist die Voraussetzung für die Vertriebskanäle, die der Beitrag aufzählt.