Odkrywamy LitGPT - jak dostrajać i uruchamiać otwarte sieci neuronowe bez ciężkich frameworków

Jeśli kiedykolwiek próbowałeś zagłębić się w kod źródłowy Hugging Face transformers, aby naprawić logikę attention lub zobaczyć, jak zbudowana jest konkretna warstwa Llama, prawdopodobnie pamiętasz to uczucie. Dziesiątki abstrakcji, pogmatwane dziedziczenie, megabajty wrapperów. W końcu proste debugowanie zamienia się w powieść detektywistyczną.

Developerzy z Lightning AI wybrali inne podejście. Wzięli ponad 20 popularnych architektur modeli językowych i przepisali je od zera w czystym PyTorch. Projekt nazywa się LitGPT. Nie ma tutaj spaghetti z abstrakcjami. Każdy model mieści się w zrozumiałych plikach, które łatwo czytać i modyfikować.

Czego dotyczy projekt

Wśród wspieranych sieci znajdują się Llama 3, Qwen 2.5, Phi 4, Gemma 2, DeepSeek R1 Distill oraz hybrydowe MoE. Narzędzie zapewnia kompletny pipeline: od dostrajania i przedtreningu, przez lokalne wdrażanie jako REST API, po ewaluację jakości na benchmarkach takich jak MMLU czy TruthfulQA.

Wszystko działa bezpośrednio z linii poleceń lub przez minimalistyczny Python API.

from litgpt import LLM

llm = LLM.load("microsoft/phi-2")
text = llm.generate("Fix the spelling: Every fall, the family goes to the mountains.")
print(text)

Żadnego rozbudowanego boilerplate'u z dataloaderami i tokenizerami. Kod wywołania zajmuje dosłownie trzy linie.

Praktyczne korzyści i funkcje

Po pierwsze, open source bez własnych wrapperów frameworkowych. Jeśli chcesz zrozumieć, jak działają Flash Attention v2 czy QLoRA, kod LitGPT służy jako doskonały podręcznik. Każdy model jest zaimplementowany tak przejrzyście, jak to tylko możliwe.

Po drugie, skromne wymagania sprzętowe. Out of the box wspiera kwantyzację 4-bitową i 8-bitową, integrację z bitsandbytes, FSDP (Fully Sharded Data Parallel) do dystrybucji na wielu GPU, a także offloading na CPU. Dzięki temu możliwe jest uruchomienie lub dostrojenie modeli nawet na jednej stosunkowo niedrogiej karcie graficznej.

Po trzecie, elastyczne gotowe przepisy trenowania w formacie YAML. Możesz uruchomić dostrajanie z LoRA lub QLoRA jednym poleceniem linii poleceń.

Linia poleceń i scenariusze użycia

CLI w LitGPT obejmuje większość typowych zadań inżyniera ML. Na przykład, jeśli masz plik danych JSON i chcesz zaadaptować model do dokumentów korporacyjnych lub konkretnego zbioru danych, cały proces mieści się w trzech krokach.

Uruchomienie dostrajania:

litgpt finetune microsoft/phi-2 \
  --data JSON \
  --data.json_path my_custom_dataset.json \
  --data.val_split_fraction 0.1 \
  --out_dir out/custom-model

Po zakończeniu treningu możesz sprawdzić odpowiedzi wynikowego modelu bezpośrednio w interaktywnym terminalu:

litgpt chat out/custom-model/final

A gdy model jest gotowy do wdrożenia, uruchomienie serwera HTTP zajmuje dosłownie sekundę:

litgpt serve out/custom-model/final

Rezultatem jest serwer WWW oparty na FastAPI z endpointem pod adresem /predict. Wyślij tam żądanie POST z promptem i otrzymaj odpowiedź. Eliminuje to potrzebę budowania własnego serwisu z Triton czy vLLM, gdy potrzebujesz szybkiego prototypu lub wewnętrznego narzędzia dla zespołu.

Konfiguracje techniczne

Gdy standardowe parametry linii poleceń są niewystarczające, z pomocą przychodzą pliki konfiguracyjne YAML. Folder config_hub w repozytorium zawiera starannie dobrane przepisy dla konkretnych modeli. Konfigurują kwantyzację, rozmiar mikrobatch'a, parametry LoRA (rank, alpha, dropout), współczynnik uczenia oraz harmonogram optymalizatora.

Dowolną wartość z pliku YAML można nadpisać bezpośrednio w CLI podczas uruchomienia, co jest wygodne do szybkiego przeszukiwania hiperparametrów:

litgpt finetune \
  --config https://raw.githubusercontent.com/Lightning-AI/litgpt/main/config_hub/finetune/llama-2-7b/lora.yaml \
  --lora_r 4

Gdzie narzędzie się sprawdziło

Projekt LitGPT dawno temu wyszedł poza ramy utilitki i stał się fundamentem prawdziwych badań.

Na przykład dobrze znany kompaktowy model TinyLlama z 1,1 miliarda parametrów był trenowany przy użyciu kodu LitGPT. Autorzy projektu MicroLlama (model 300M parametrów) również użyli tego codebase'a. Badacze z Microsoft wykorzystali LitGPT jako fundament projektu Samba, w którym połączyli State Space Models z mechanizmem Attention.

Ponadto LitGPT posłużył jako oficjalny starter kit na NeurIPS 2023 LLM Efficiency Challenge, gdzie uczestnicy dostrajali modele w 24 godziny na jednym GPU.

Kto skorzysta i czy warto wypróbować

LitGPT będzie przydatny w trzech sytuacjach.

1. Studiujesz architekturę nowoczesnych modeli językowych i chcesz czystego kodu PyTorch bez zewnętrznych zależności.
2. Musisz szybko przetestować hipotezę, uruchomić dostrajanie QLoRA na zbiorze danych i udostępnić model przez API bez pisania kodu infrastruktury.
3. Szukasz działającego szablonu startowego dla własnego projektu badawczego dotyczącego treningu LLM.

Licencja Apache 2.0 usuwa wszelkie ograniczenia dotyczące użytku komercyjnego. Developerzy aktywnie utrzymują repozytorium, dodając nowe architektury jak Gemma 3 i Qwen 2.5 Coder wkrótce po ich wydaniu.