Hacker News 의견

• 첫 번째 의견: 저자는 입력 토큰을 무작위로 섞고 두 개의 위치 인코딩을 추가하여 모델을 훈련함. 이 간단한 수정으로 모델이 순서에 상관없이 병렬로 토큰을 예측할 수 있게 됨.
• 두 번째 의견: 이 연구는 Taylorformer 논문과 유사한 접근 방식을 사용함. 시계열 데이터와 같은 연속적인 프로세스를 예측하는 데 도움이 됨.
• 세 번째 의견: 이전 연구를 인용하지 않은 점이 아쉬움. 이 연구는 이미 ICML에 발표되었고 약 250개의 인용이 있음.
• 네 번째 의견: 이 개념이 이미지 생성 모델의 동적과 유사해 보임. 큰 아이디어가 먼저 나타나고 세부 사항이 자연스럽게 채워지는 방식이 유용할 것 같음.
• 다섯 번째 의견: 트위터에 텍스트를 생성하는 비디오가 있음. (링크 제공)
• 여섯 번째 의견: 이 논문이 제공하는 기능이 매우 마음에 듦. JSON 생성, 특정 길이의 설명 생성 등 다양한 실험이 가능할 것 같음.
• 일곱 번째 의견: 이 접근 방식이 컴퓨터 코드 생성에 특히 도움이 될 것 같음. 나중에 작성될 내용에 따라 현재 출력이 달라질 수 있음.
• 여덟 번째 의견: 비전 트랜스포머의 학습을 언어 트랜스포머에 적용한 것 같음. 비전 모델이 이미지를 타일로 나누고 위치 인코딩을 추가하는 방식과 유사함.
• 아홉 번째 의견: 코드가 어디에 있는지 궁금함. 이중 위치와 셔플링을 완전히 이해하지 못했음. 위치 인코딩에 concat을 사용한 점이 흥미로움.
• 열 번째 의견: BERT는 시퀀스에서 무작위 마스킹을 사용했지만, 시간은 순차적임.