GN⁺: 내 Python 코드는 신경망

• 인간은 스파게티 코드 관리에 서툴음
• 연구 프로젝트에서 원시 데이터에서 정보를 추출하는 프로그램을 작성하는 경우가 많음
• 데이터는 명확한 사양을 따르지 않음
• 예시:
  • 뉴스 기사에서 기업과 임원을 식별
  • 공공 조달 계약을 서비스 종류별로 라벨링
  • 엔지니어 간의 메시지에서 프로그램 코드를 식별

메시지에서 프로그램 코드 감지

• 코드 리뷰 중 메시지가 프로그램 코드를 참조하는지 감지하는 문제를 해결
• 예시 메시지:
  • LGTM with render_ipa_alloc()
  • If the FTPSACK flag is set, then use a prespecified value
  • AFAICT there is nothing else to check (unless you can think of something)
  • Actually, debug_error() doesn’t return NULL, so we should use IS_ERROR() here
  • This fails to build on aarch64 even though it works without issue on amd64
  • I’ve added if (err) goto cleanup; but the code still leaks

결정 규칙 아이디어

• 간단한 규칙을 사용하여 프로그램 코드와 일반 영어를 구분하는 접근 방식
• 규칙:
  1. 괄호가 뒤따르는 단어는 코드임
  2. 모든 대문자 단어는 코드임
  3. 비영어 단어는 코드임
• 각 규칙의 장단점:
  • 규칙 1: 간단하지만 명백한 긍정 사례를 놓침
  • 규칙 2: 대문자 약어를 프로그램 코드로 잘못 분류함
  • 규칙 3: 엔지니어링 용어를 프로그램 코드로 잘못 분류함

손으로 작성한 알고리듬

• 간단한 알고리듬이 충분히 잘 작동할 수 있다고 판단
• 두 단계로 메시지가 코드를 포함하는지 결정:
  1. 전처리: 메시지를 토큰 시퀀스로 변환
  2. 추론: 토큰 시퀀스에 규칙을 적용하여 코드 포함 여부 결정
• Python으로 구현한 예시:

  from dataclasses import dataclass  
  
  Token = str  
  
  @dataclass  
  class State:  
      previous_was_identifier: bool = False  
      previous_was_open_paren: bool = False  
      previous_previous_was_identifier: bool = False  
      seen_code: bool = False  
  
  def contains_code(tokens: Iterable[Token]) -> bool:  
      state = State()  
      for token in tokens:  
          state = process(state, token)  
      return state.seen_code  
  
  def process(state: State, token: Token) -> State:  
      if state.seen_code:  
          return state  
      if (token == "close_paren" and state.previous_was_open_paren and state.previous_previous_was_identifier):  
          state.seen_code = True  
          return state  
      state.previous_previous_was_identifier = state.previous_was_identifier  
      state.previous_was_identifier = token in ("all_caps_identifier", "underscore_identifier", "misc_identifier")  
      state.previous_was_open_paren = token == "open_paren"  
      return state  
  

신경망의 도움

• 상태 기계로서의 contains_code와 process를 RNN으로 인코딩 가능
• RNN을 사용하여 더 나은 알고리듬을 찾을 수 있음

일반적인 아이디어

• RNN은 조건부 확률을 근사함
• 각 토큰에 대해 상태 벡터를 계산
• 최종 상태를 기반으로 메시지를 분류

수학으로 본 Python 코드

• RNN이 규칙 1을 인코딩하는 방법을 설명
• 각 토큰을 이진 벡터로 표현
• 숨겨진 상태를 계산하여 규칙을 적용

네트워크 훈련

• RNN을 훈련시키기 위해 활성화 함수를 ReLU로 변경
• PyTorch를 사용하여 훈련 가능

더 효율적인 구현을 가진 아키텍처

• Elman RNN과 같은 PyTorch에서 제공하는 아키텍처 사용
• Elman RNN은 각 숨겨진 레이어가 이전 레이어와 현재 레이어를 모두 입력으로 사용

더 안정적인 그래디언트를 가진 아키텍처

• 긴 메시지는 그래디언트가 0에 가까워져서 문제 발생
• GRU나 LSTM과 같은 아키텍처가 더 나은 성능을 보일 수 있음

데이터 중심의 규율

• RNN은 스파게티 코드를 더 잘 처리함
• 데이터 중심의 규율을 강제하여 문제를 명확히 함

GN⁺의 의견

• 이 기사는 RNN을 사용하여 복잡한 문제를 해결하는 방법을 잘 설명함
• RNN을 사용하면 코드 유지보수가 용이해짐
• PyTorch와 같은 도구를 사용하여 효율적인 구현 가능
• GRU나 LSTM과 같은 아키텍처를 고려할 필요 있음
• 데이터 중심의 접근 방식이 문제 해결에 유용함