Challenge Log

경제학이 수작업으로 효용함수를 쌓던 시대 (1944–1992)AI가 들어오기 전에 이미 "효용함수는 데이터에서 역추정할 수 있는가"라는 질문 자체가 성숙해 있었습니다. von Neumann–Morgenstern의 기대효용 공리(1944), Samuelson의 현시선호 이론(1938/1948) — "선택을 보면 선호를 복원할 수 있다"는 아이디어의 원형 — , McFadden의 랜덤효용모델(Random Utility Model, 1974, 2000년 노벨경제학상) — 효용에 확률적 충격항을 더하면 로짓·프로빗 형태의 선택확률이 나온다는 틀 그리고 Kahneman & Tversky의 프로스펙트 이론(1979)과 누적 프로스펙트 이론(CPT, 1992, 2002년 노벨상)이 시기의 한계는 명확했습니다. 효용..

2003년 — Gödel Machine Schmidhuber가 제안한 Gödel Machine은 수학적으로 엄밀하고 완전히 자기참조적인 자기개선 문제해결기로, Kurt Gödel의 자기참조 공식에서 영감을 받아, 재작성이 유용하다는 증명을 찾자마자 자신의 코드를 다시 쓰는 시스템 입니다. 이론적으로 완벽하지만 증명 탐색의 어려움, 순수 연역적 개선 기준의 취약성, 자기 수정 중 안전 문제.2016년 11월 — NAS의 출발점 (Zoph & Le)Google Brain의 Barret Zoph와 Quoc Le의 "Neural Architecture Search with Reinforcement Learning" 논문. RNN 컨트롤러가 신경망 모델 설명을 생성하고, 생성된 아키텍처의 검증 정확도를 최대화하도..

"어떻게 하면 벡터를 적은 비트로 압축하면서도 정확도를 유지할까"가 논문의 목표이지만살짝 읽어보니 양자정보학의 방법론과 유사한것을 확인 논문 내용 : 벡터 양자화는 고차원 유클리드 벡터를 작은 비트 수로 압축하면서 기하학적 구조의 왜곡(distortion)을 최소화하는 문제TurboQuant는 MSE(평균 제곱 오차)와 내적(inner product) 왜곡 두 가지 모두를 다루면서 기존 방법들이 달성하지 못했던 최적 왜곡률에 근접 하는 것을 목표 입력 벡터를 무작위 회전(random rotation)시키면 좌표값들이 집중된 베타 분포(Beta distribution)를 따르게 되고,고차원에서 서로 다른 좌표가 거의 독립적이라는 성질을 활용해서 각 좌표마다 최적 스칼라 양자화기를 단순 적용하는 방식 추가로..