vLLM Control Panel

Sistema

A carregar…

Nome Modelo (Hugging Face ID)

Porta

Served name

max_model_len

gpu_memory_utilization

tensor_parallel_size

pipeline_parallel_size

Quantization

dtype

Tuning avançado

max_num_seqs

kv_cache_dtype

max_num_batched_tokens

enforce_eager (sem CUDA graphs) enable_prefix_caching trust_remote_code

Multi-modelo numa só 4090: cria 2 instâncias (ex. portas 8000/8001) com gpu_memory_utilization 0.45 cada. TP>1 só com várias GPUs.

A carregar…