TurboQuant

"어떻게 하면 벡터를 적은 비트로 압축하면서도 정확도를 유지할까"가 논문의 목표이지만

살짝 읽어보니 양자정보학의 방법론과 유사한것을 확인

 

논문 내용 : 

벡터 양자화는 고차원 유클리드 벡터를 작은 비트 수로 압축하면서 기하학적 구조의 왜곡(distortion)을 최소화하는 문제

TurboQuant는 MSE(평균 제곱 오차)와 내적(inner product) 왜곡 두 가지 모두를 다루면서 기존 방법들이 달성하지 못했던 최적 왜곡률에 근접 하는 것을 목표

 

입력 벡터를 무작위 회전(random rotation)시키면 좌표값들이 집중된 베타 분포(Beta distribution)를 따르게 되고,

고차원에서 서로 다른 좌표가 거의 독립적이라는 성질을 활용해서 각 좌표마다 최적 스칼라 양자화기를 단순 적용하는 방식

 

추가로 내적 추정의 편향 문제를 해결하기 위해 MSE 양자화기를 먼저 적용하고

그 잔차(residual)에 1-bit Quantized JL(QJL) 변환을 적용하는 2단계 접근법을 제한

 

터보 퀀트의 수식을 브라켓 노테이션으로 변환하면 양자정보학과 수학적 동형을 이루는것을 볼 수 있다.

섀넌의 정보이론에서 동일하게 시작해서 고전정보이론과 양자정보이론이 연속적인 분포를 양자화시킴으로서 하나로 모임

(조만간 브라켓 노테이션이 AI 표준 표기가 될수도...?)