Fine-grained token scheduling
for efficient pipeline parallel LLM inference serving

Καβαλλάρης, Χρήστος; Kavallaris, Christos

Fine-grained token scheduling for efficient pipeline parallel LLM inference serving

Τίτλος: Fine-grained token scheduling for efficient pipeline parallel LLM inference serving;
Λεπτομερής σχεδιασμός δρομολόγησης ερωτημάτων για εξυπηρέτηση μεγάλων γλωσσικών μοντέλων σε παραλληλία σωλήνωσης

Καβαλλάρης, Χρήστος; Kavallaris, Christos

URI: https://dspace.lib.ntua.gr/xmlui/handle/123456789/65195
http://dx.doi.org/10.26240/heal.ntua.32889

Εμφάνιση πλήρους εγγραφής