Istraživanje

GPU kerneli. Jezički modeli. Granice hardvera.

Istražujemo GPU performanse i treniranje jezičkih modela, uz rad na kernelima za NVIDIA Blackwell SM120. Mjerenja usmjeravaju naše naredne optimizacije.

horizon_kernels

Vlastiti kerneli pisani u TileLangu za NVIDIA RTX PRO 6000 Blackwell (SM120). Svaki kernel ocjenjujemo kao postotak izmjerene granice i prepisujemo one koji ostavljaju brzinu neiskorištenom.

1,63 TB/s

Interno prijavljeno mjerenje brzine čitanja memorije. Potpuna metodologija i sirovi rezultati još nisu objavljeni; ovo nije rezultat produkcijske aplikacije.

Spekulativno dekodiranje

Istražujemo spekulativno dekodiranje: predlaganje kandidata za tokene i njihovu provjeru ciljnim modelom. Korist zavisi od stope prihvatanja i troška predlaganja i provjere.

Doprinosi projektu TileLang

Kada naiđemo na greške na SM120, prijavljujemo ih i šaljemo ispravke projektu TileLang.

Treniranje malih modela

Istražujemo kako trenirati i poboljšati kompaktne jezičke modele u okviru fiksnog GPU budžeta: kvalitet podataka, evaluacija i post-trening. Rad je u toku. Rezultate ćemo objaviti kada imamo mjerenja.

Istraživanje

Razvijajte ideje s nama

Podijelite pitanje, kritiku metode, pokušaj reprodukcije ili poboljšanje otvorenog koda. Doprinosi zadržavaju autorstvo; objava nije naučna potvrda rezultata.

Prijedlog kvaliteta podataka je metod u razvoju. Još nije pokazano poboljšanje stvarnog skupa podataka ili performansi modela.

Radite na GPU performansama ili treniranju modela?

Javite nam se