Tutorial Praktis llama.cpp: Optimasi Parameter (Threads, Context, dan Temperature) untuk Performa Maksimal
Made Artha | Web Developer & Academic Researcher | Artha.web.id | [email protected] Abstract— Artikel ini menyajikan panduan praktis (hands-on) untuk mengoptimalkan parameter inferensi pada library llama.cpp. Pengaturan default seringkali tidak memberikan performa terbaik, baik dari segi kecepatan (tokens per second) maupun kualitas output (halusinasi). Penulis membahas strategi penentuan jumlah threads, alokasi context window, dan penyesuaian […]