GN⁺: 셀프 서비스 대시보드가 작동하지 않는 이유

• "self-serve dashboards"는 실제로는 잘 작동하지 않음. 엔지니어나 데이터 과학자가 비즈니스 사용자를 위해 쿼리를 작성하고 대시보드를 준비하는 데 많은 시간을 소비하게 되기 때문임.

"self-serve BI"가 작동하지 않는 이유

• SQL이 유일한 "self-serve BI" 도구임. 하지만 대부분의 "self-serve BI" 공급 업체는 SQL을 다른 것으로 위장하려고 함.
• SQL 쿼리 작성이 비즈니스 이해 관계자가 데이터를 쿼리하는 유일한 장벽이 아님. 데이터의 의미, 출처, 계산 방식을 이해하지 못하고 결과를 해석하고 검증하는 방법을 모름.

시도 1: 기존의 "드롭다운 및 확인란" 접근 방식

• 이 인터페이스는 "SQL-by-mouse"를 시도한 것에 불과함. SQL보다 나을 것이 없고 오히려 더 느리고, 신뢰할 수 없고, 제한적이며 다른 도구로 일반화할 수 없음.
• CFO와 같은 사람은 이 인터페이스를 사용하여 데이터를 쿼리하지 않을 것임. 데이터를 이해할 수 있는 맥락이 없고 결과에 대해 확신할 수 없기 때문임.

시도 2: text-to-SQL 접근 방식

• LLM은 자연어를 SQL로 번역하는 데 거의 너무 효과적임. 질문이 맞지 않아도 쿼리를 생성하려고 할 것임.
• 기술자는 질문이 맞지 않다는 것을 알아차리고 더 많은 맥락을 요청할 것임. 사용 가능한 데이터 유형을 설명하고 정확하고 유용한 질문을 만들기 위해 비즈니스 담당자와 협력할 것임.
• LLM이 "self-serve BI"의 실제 솔루션이 될 수 있지만, 현재 형태로는 안 됨. 더 많은 맥락이 필요하고 불확실성을 표현하고 더 많은 정보를 요청하는 데 더 능숙해져야 함.

실제로 작동하는 것

• "self-serve BI"의 문제는 SQL이 아니라 데이터의 맥락과 의미임. 해결책은 인터페이스에 관계없이 사람들에게 쿼리하는 데이터에 대해 가르치는 것임.
• 기술팀에게 모든 지식을 문서화하는 것은 상당한 오버헤드를 발생시키고 빠르게 구식이 됨.
• "self-serve BI"의 진정한 해결책은 비기술 사람들을 위해 BI를 "self-serve"로 만드는 것이 아니라, 기술 사람들이 더 나은 도구를 사용하여 비즈니스 이해 관계자를 더 효율적으로 지원하도록 하는 것임.

더 나은 도구에 대한 제안:

1. LLM을 비즈니스 이해 관계자가 아닌 기술자에게 제공함.
2. Python, R 등 편한 도구를 사용하여 데이터를 자유롭게 다룰 수 있도록 함.
3. 기술자가 작업 내용을 쉽게 공유할 수 있도록 함. 노트북과 내부 데이터 애플리케이션은 컨테이너, 종속성, 인프라를 다뤄야 해서 공유하기 어려움.