#gpu (1)

V

vLLM OSS

高スループットなLLM推論・サービングエンジン。PagedAttentionにより本番環境でのモデル配信コストを大きく下げる。