GN⁺: AVX-512을 사용한 tolower() 함수

• 몇 년 전, SWAR 트릭을 사용하여 tolower()를 빠르게 처리하는 방법에 대해 글을 썼음. 며칠 전, Olivier Giniaux의 글에서 SIMD 명령어를 사용하여 작은 문자열을 처리하는 최적화 방법에 대해 흥미를 느꼈음. 이 방법은 Rust로 작성된 빠른 해시 함수에서 사용됨.

• SIMD 명령어는 짧은 문자열을 쉽게 처리할 수 있지만, 메모리와 벡터 레지스터 간의 전송이 어렵다는 점이 항상 불편했음. Olivier의 글은 이 문제를 해결하는 재미있는 방법을 제시했음.

희망의 징후

• 일부 SIMD 명령어 세트는 문자열 처리를 위한 유용한 마스크 로드 및 스토어 기능을 제공함. 이는 바이트 단위로 작동함.

  • ARM SVE: 최근의 큰 ARM Neoverse 코어에서 사용 가능, 예를 들어 Amazon Graviton. 하지만 Apple Silicon에서는 사용 불가.
  • AVX-512-BW: 최근 AMD Zen 프로세서에서 사용 가능. AVX-512는 복잡한 확장 세트로, Intel에서는 지원이 랜덤함.

• AMD Zen 4 박스를 가지고 있어 AVX-512-BW를 시도해보기로 했음.

tolower64()

• Intel intrinsics 가이드를 사용하여 한 번에 64바이트를 처리할 수 있는 기본 tolower() 함수를 작성함.
  • *를 와일드카드로 사용하여 mm512*epi8을 검색해 바이트 단위의 AVX-512 함수를 찾음.
  • 몇 가지 레지스터를 64개의 유용한 바이트로 채움.
  • 대문자를 소문자로 변환하기 위해 필요한 숫자를 설정함.
  • 입력 문자를 A와 Z와 비교하여 대문자인지 확인함.
  • 마스크를 사용하여 대문자인 경우 소문자로 변환함.

대량 로드 및 스토어

• tolower64() 커널을 더 편리한 함수로 감싸야 함. 예를 들어, 문자열을 복사하면서 소문자로 변환하는 함수.
  • 긴 문자열의 경우, 정렬되지 않은 벡터 로드 및 스토어 명령어를 사용함.

마스크 로드 및 스토어

• 작은 문자열과 긴 문자열의 끝 부분은 마스크된 정렬되지 않은 로드 및 스토어를 사용함.
  • 마스크는 첫 len 비트가 설정됨.
  • 로드와 스토어는 마스크가 추가된 전체 너비 버전과 유사함.

벤치마킹

• 여러 유사한 함수의 성능을 벤치마킹함.

  • Clang 16으로 컴파일하고 AMD Ryzen 9 7950X에서 실행함.
  • 각 함수는 별도로 컴파일하여 인라인 및 코드 이동의 간섭을 피함.

• 결과:

  • tolower64는 테스트된 모든 함수 중 가장 빠름.
  • copybytes64는 tolower64와 유사한 방식으로 AVX-512를 사용하지만 크게 빠르지 않음.
  • copybytes1은 바이트 단위로 memcpy를 수행하며, Clang 11의 자동 벡터화가 상대적으로 좋지 않음을 보여줌.
  • 표준 tolower()는 가장 느림.
  • tolower1은 Clang 16으로 컴파일된 바이트 단위 tolower()이며, 자동 벡터화가 개선되었지만 여전히 느림.
  • tolower8은 이전 블로그 글에서 소개한 SWAR tolower()이며, Clang이 자동 벡터화를 시도하지만 결과가 좋지 않음.
  • memcpy는 초기에는 빠르지만 copybytes64의 절반 속도로 떨어짐.

결론

• AVX-512-BW는 특히 짧은 문자열을 처리할 때 매우 유용함.

• Zen 4에서 매우 빠르며, 내장 함수가 사용하기 쉬움.

• AVX-512-BW의 성능은 매우 부드러움.

• ARM SVE 지원이 있는 박스가 없어 자세히 조사하지 못했지만, SVE가 짧은 문자열에 얼마나 잘 작동하는지 궁금함.

• 이러한 명령어 세트 확장이 더 널리 사용되기를 바람. 문자열 처리 성능을 크게 향상시킬 것임.

• 이 블로그 글의 코드는 내 웹사이트에서 확인 가능함.

GN⁺의 정리

• 이 글은 SIMD 명령어를 사용하여 짧은 문자열을 효율적으로 처리하는 방법을 설명함.
• AVX-512-BW와 ARM SVE 명령어 세트가 문자열 처리에 유용함을 보여줌.
• 벤치마킹 결과, AVX-512-BW가 특히 짧은 문자열에서 뛰어난 성능을 발휘함.
• 이 글은 성능 최적화에 관심 있는 개발자들에게 유용할 것임.