NVIDIA garak - LLM 취약점 스캐너

• Garak은 LLM 기반 시스템의 취약점을 찾기 위해 개발된 무료 도구
• 주로 LLM의 오작동과 보안 문제를 검사하며, nmap의 LLM 버전이라 할 수 있음
• 다양한 정적, 동적, 적응형 탐침(probes)을 사용하여 LLM의 여러 취약점을 탐색

Garak의 주요 기능

• LLM의 실패 지점 확인: 잘못된 정보 생성, 데이터 유출, 프롬프트 인젝션, 독성 생성, 제일브레이크(jailbreak) 등 여러 약점을 탐색
• 다양한 프로빙 기법 사용: 수십 개의 플러그인과 수많은 탐침을 통해 다양한 LLM 실패 모드를 분석
• 로그 기록: 각 실패 사례에 대해 프롬프트, 목표, 응답을 포함한 상세한 로그 제공
• 지속적인 업데이트: 커뮤니티의 기여로 새로운 탐침이 추가되고 기존 탐침이 개선되며, 테스트 범위가 지속적으로 확대

Garak의 주요 특징

• LLM 보안에 초점
  • LLM 고유의 취약점을 중점적으로 검사
    • 프롬프트 인젝션, 제일브레이크, 가드레일 우회, 텍스트 재생 공격 등
  • 기타 ML 보안 도구와는 달리 LLM 보안에만 집중
• 자동화된 스캐닝
  • 다양한 탐침을 자동으로 실행하며, 탐지기 설정과 속도 제한 처리도 자동화
  • 기본 설정만으로도 전체 표준 스캔이 가능하지만, 사용자 맞춤형 설정도 가능
• 다양한 LLM 지원
  • OpenAI, Hugging Face, Cohere, Replicate 등 여러 LLM과 연결 가능
  • 커뮤니티 기여 기반으로 더 많은 LLM 지원 추가 예정
• 구조화된 보고 기능
  • 스크린 출력: 스캔 진행 상황 실시간 모니터링
  • 리포트 로그: 각 프롬프트와 응답의 상세 기록
  • 히트 로그(Hit log): 취약점 발견 시 기록
  • 디버그 로그: 문제 해결 및 Garak 작동 기록