В этом проекте ( s://github.com/ggml-org/llama.cpp) есть примеры запуска необходимой функциональности (каталоги tools, examples). По аналогии, сократив ненужное, требуется… …