정보
TensorRT-LLM은 NVIDIA GPU에서 LLM 추론을 최대 처리량과 최저 지연 시간으로 최적화하는 NVIDIA 라이브러리입니다. 양자화 및 다중 GPU 확장과 같은 기능을 지원하며, PyTorch 대비 10-100배 빠른 성능이 필요한 프로덕션 배포에 이상적입니다. NVIDIA 하드웨어에서 최고 성능이 필요할 때 사용하며, 더 간단한 설정에는 vLLM을, CPU/Apple Silicon 환경에는 llama.cpp와 같은 대안을 선택할 수 있습니다.
빠른 설치
Claude Code
추천npx skills add zechenzhangAGI/AI-research-SKILLs -a claude-code/plugin add https://github.com/zechenzhangAGI/AI-research-SKILLsgit clone https://github.com/zechenzhangAGI/AI-research-SKILLs.git ~/.claude/skills/tensorrt-llmClaude Code에서 이 명령을 복사하여 붙여넣어 스킬을 설치하세요
GitHub 저장소
Frequently asked questions
What is the tensorrt-llm skill?
tensorrt-llm is a Claude Skill by zechenzhangAGI. Skills package instructions and resources that Claude loads on demand, so Claude can perform tensorrt-llm-related tasks without extra prompting.
How do I install tensorrt-llm?
Use the install commands on this page: add tensorrt-llm to Claude Code as a plugin, or clone its repository into your skills directory, then restart Claude so it picks up the skill.
What category does tensorrt-llm belong to?
tensorrt-llm is in the Other category, tagged ai.
Is tensorrt-llm free to use?
Yes. tensorrt-llm is listed on AIMCP and free to install. It runs inside Claude, so no separate service account is required to use the skill itself.
연관 스킬
LlamaGuard는 폭력 및 혐오 발언 등 6가지 안전 범주에서 LLM 입력과 출력을 조정하기 위한 Meta의 70-80억 파라미터 모델입니다. 94-95% 정확도를 제공하며 vLLM, Hugging Face 또는 Amazon SageMaker를 사용해 배포할 수 있습니다. 이 기술을 사용하여 AI 애플리케이션에 콘텐츠 필터링 및 안전 가드레일을 손쉽게 통합하세요.
이 Claude Skill은 리소스 적정화, 태깅 전략, 지출 분석을 통해 개발자들이 클라우드 비용을 최적화할 수 있도록 지원합니다. AWS, Azure, GCP에서 클라우드 비용을 절감하고 비용 거버넌스를 구현하기 위한 프레임워크를 제공합니다. 인프라 비용을 분석하거나, 리소스를 적정화하거나, 예산 제약을 충족해야 할 때 사용하세요.
이 Claude Skill은 스프레드, 오버/언더, 프로프 베트를 포함한 스포츠 베팅 시장을 분석합니다. 역사적 추이와 상황별 통계를 검토하여 가치 베트를 발견하고, 교육적 목적으로 실행 가능한 권장 사항이 담긴 구조화된 마크다운 결과를 제공합니다. 개발자는 이 기능을 스포츠 베팅 분석 도구에 활용할 수 있으며, 단순히 엔터테인먼트/교육 목적으로만 설계되었음을 유의해야 합니다.
이 스킬은 bitsandbytes를 사용하여 LLM을 8비트 또는 4비트 정밀도로 양자화하며, 최소한의 정확도 손실로 50-75%의 메모리 감소를 달성합니다. 제한된 GPU 메모리에서 더 큰 모델을 실행하거나 추론을 가속화하는 데 이상적이며, INT8, NF4, FP4와 같은 형식을 지원합니다. 이 스킬은 HuggingFace Transformers와 통합되어 QLoRA 학습 및 8비트 옵티마이저를 가능하게 합니다.