AI

인공지능으로 인간의 효용함수를 복원

Miscellaneous MS 2026. 4. 21. 23:26

경제학이 수작업으로 효용함수를 쌓던 시대 (1944–1992)

AI가 들어오기 전에 이미 "효용함수는 데이터에서 역추정할 수 있는가"라는 질문 자체가 성숙해 있었습니다. von Neumann–Morgenstern의 기대효용 공리(1944), Samuelson의 현시선호 이론(1938/1948) — "선택을 보면 선호를 복원할 수 있다"는 아이디어의 원형 — , McFadden의 랜덤효용모델(Random Utility Model, 1974, 2000년 노벨경제학상) — 효용에 확률적 충격항을 더하면 로짓·프로빗 형태의 선택확률이 나온다는 틀  그리고 Kahneman & Tversky의 프로스펙트 이론(1979)과 누적 프로스펙트 이론(CPT, 1992, 2002년 노벨상)

이 시기의 한계는 명확했습니다. 효용함수의 함수 형태(functional form)를 연구자가 직접 가정해야 했고 선택지 수가 많거나 상호작용이 복잡해지면 모델이 빠르게 붕괴

신경망·IRL의 탄생 (1998–2008)

"함수 형태를 가정하지 말고 데이터에서 직접 학습하자"는 흐름이 두 갈래로 시작됩니다.

한 갈래는 **선호 학습(preference learning)**입니다. Herbrich 등(1998)이 SVM으로 순위 선호를 학습했고, Bentz와 Merunka(2000)가 softmax 출력 피드포워드 신경망으로 소비자 선택을 예측한 최초의 사례. 이는 McFadden의 로짓을 신경망으로

다른 갈래는 역강화학습(Inverse Reinforcement Learning, IRL)입니다. Ng과 Russell이 2000년 ICML에서 "Algorithms for Inverse Reinforcement Learning"을 발표 하면서 공식화됐는데, "MDP에서 관측된 최적 행동으로부터 보상함수를 역추출한다"는 문제를 세움. 논문의 핵심 통찰은 주어진 정책을 최적으로 만드는 보상함수의 집합을 특징화하고 세 가지 알고리즘을 도출한 것, 그리고 "관측된 정책을 최적으로 만드는 보상함수가 매우 많다"는 근본적 비식별성(degeneracy) 문제를 명시 한 것. 이 비식별성 문제는 오늘날까지도 효용함수 복원의 근본 난제

이어서 Abbeel & Ng(2004)의 apprenticeship learning, Ramachandran & Amir(2007)의 Bayesian IRL, 그리고 Ziebart et al.(2008) "Maximum Entropy Inverse Reinforcement Learning"(AAAI) 이 등장합니다. 특히 MaxEnt IRL은 여러 보상함수 중 "행동 데이터와 일관되면서 가장 엔트로피가 큰 것"을 고르는 원리로 비식별성 문제를 부분적으로 해결했고, 이후 거의 모든 후속 IRL 연구의 토대가 됩니다. 경제학 언어로 번역하면 "여러 효용함수 중 가장 '덜 편향된' 것을 고른다"는 것

 

딥러닝 (2015–2018)

신경망의 표현력이 폭발적으로 커지면서 IRL도 깊어집니다. Wulfmeier, Ondruska, Posner(2015) "Maximum Entropy Deep Inverse Reinforcement Learning"과 Finn, Levine, Abbeel(2016)의 Guided Cost Learning, Ho & Ermon(2016)의 GAIL(Generative Adversarial Imitation Learning)이 이어짐. GAN 구조를 빌려와서 "인간 행동을 흉내내는 정책"을 학습하는 접근인데, 이때부터 "보상/효용함수는 더 이상 단순한 선형결합이 아니라 심층신경망"이라는 전제가 굳어짐.

동시에 의사결정 이론 쪽에서는 경쟁적 예측 실험이 시작. Erev, Ert, Plonsky 등이 주도한 Choice Prediction Competitions이 핵심입니다. CPC15에서 도입된 BEAST(Best Estimate And Sampling Tools) 모델은 선택이 기대가치에 더해 네 가지 행동 경향—즉각적 후회 확률 최소화, 결과들의 균등가중 편향, 페이오프 부호 민감도, 비관주의—에 민감하다고 가정 했고, CPC15 대회에서 "이론 없는 통계학습 모델과 프로스펙트 이론 변종들은 예측을 잘 못했고, 최고 성능은 BEAST 변종들"이었다는 결과.

이건 흥미로운 반전이었습니다. "딥러닝이면 된다"는 기대와 달리, 소규모 데이터에서는 행동이론 구조가 여전히 중요. Plonsky, Erev 등(2017) "Psychological Forest"는 심리학적 특성을 입력 피처로 주입한 랜덤포레스트가 순수 ML보다 좋다는 것을 보였고, 이것이 다음 세대의 "cognitive prior" 아이디어의 씨앗이.

경제학과 ML의 다리 역할을 한 또 하나의 중요한 작업은 Hartford, Wright, Leyton-Brown(2016)의 "Deep Learning for Predicting Human Strategic Behavior"(NeurIPS)로, 행동 게임이론 데이터에서 DNN이 고전 이론을 능가한 초기 사례.

이 시기의 아키텍처적 분수령은 Amos, Xu, Kolter(2017) "Input-Convex Neural Networks"(ICML)입니다. 신경망 출력이 입력에 대해 항상 볼록(또는 오목)이도록 가중치를 제약하는 구조인데, 이것이 나중에 PEARL 같은 "효용함수는 오목이어야 한다"는 경제학 제약을 직접 네트워크에 박아넣는 방식의 기반.

대규모 데이터 + 해석가능한 신경망 (2019–2021)

이 시기의 핵심 통찰은 "데이터만 충분히 크면, 신경망이 학습한 효용함수는 기존 경제학 이론을 재발견하고, 그 위에 더 복잡한 패턴까지 덧붙일 수 있다"는 것.

Bourgin, Peterson, Reichman, Russell, Griffiths(2019) "Cognitive Model Priors for Predicting Human Decisions"(ICML)가 다리 역할을 합니다. 기존 인지모델(프로스펙트 이론 등)의 예측을 신경망의 사전학습(pretraining)으로 사용하면 작은 데이터에서도 잘 된다는 것을 보였습니다. 즉 "이론은 데이터에 대한 prior이다"라는 관점.

그 뒤 Peterson, Bourgin, Agrawal, Reichman, Griffiths의 2021년 Science 논문 "Using large-scale experiments and machine learning to discover theories of human decision-making" 이 등장합니다. 13,006개 리스키 선택 문제에서 대규모 데이터(choices13k)를 수집하고 미분가능한 결정이론들을 비교. 핵심 모델 MOT(Mixture of Theories)는 두 개의 효용함수와 두 개의 확률가중함수 혼합으로 선택을 설명하는데, 해석 가능한 설계 덕분에 하나의 UF는 대칭형, 다른 하나는 손실회피를 보이고, 하나의 PWF는 선형, 다른 하나는 저확률 과대가중을 보여 기대효용과 프로스펙트 이론의 형태를 재발견. 동시에 기존 이론이 놓친 체계적 패턴도 포착.

같은 시기 교통·도시 경제학 쪽에서는 Wang, Wang, Zhao의 Transportation Research Part C 2020 논문이 DNN으로 고전적 이산선택모델과 동등한 경제 정보—선택확률, 시장점유율, 대안 간 대체 패턴, 사회후생, 탄력성, 한계대체율(MRS), 이질적 시간가치(VOT)—를 추출할 수 있음을 보였고, 동시에 hyperparameter 민감성·모델 비식별성·local irregularity라는 세 가지 한계를 명시. "신경망이 맞추기만 하는가, 아니면 경제적 해석이 가능한가"라는 오래된 의심에 대한 체계적 답변.

금융·포트폴리오 쪽에서는 Ratliff 등의 Inverse Risk-Sensitive RL이 프로스펙트 이론 가치함수를 IRL 틀에 접붙였고, inverse optimization으로 20년 시장 데이터와 10년 뮤추얼펀드 분기별 보유 데이터에서 시변 위험선호 파라미터를 추정하는 연구진행. "펀드매니저가 암묵적으로 어떤 효용함수에 따라 행동했는가"를 역추적.

신경망이 "블랙박스 예측기"에서 "해석 가능한 이론 발견 도구"로 격상.

이론적 토대 확립과 LLM의 진입 (2022–2024)

한 갈래는 이론적 엄밀화. Aouad & Désir의 "Representing Random Utility Choice Models with Neural Networks"(2022 arXiv, 2025 Management Science), 이들이 제안한 RUMnets는 에이전트의 랜덤효용함수를 sample average approximation으로 정식화하며, 어떤 RUM 모델에서 유도된 선택확률도 RUMnet으로 임의로 근접하게 근사할 수 있고 역으로 어떤 RUMnet도 RUM 원리와 일관됨을 증명. 이는 "McFadden의 랜덤효용 프레임워크와 신경망이 수학적으로 등가"라는 다리를 놓은 결과로, 경제학자와 ML 연구자가 같은 언어로 대화할 수 있게 됨.

다른 갈래는 LLM의 등장. Binz & Schulz(PNAS 2023) "Using cognitive psychology to understand GPT-3"이 LLM에 인지심리학 실험을 시키면 인간과 유사한 편향(예: 기저율 무시, 연언 오류)이 나타난다는 것을 보임. 같은 해 Horton, Filippas, Manning의 NBER working paper "Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?"가 LLM을 훈련·설계상 인간에 대한 암묵적 계산 모델(Homo silicus)로 볼 수 있다고 주장하며 Charness-Rabin(2002), Kahneman et al.(1986), Samuelson-Zeckhauser(1988) 실험을 LLM으로 재현해 질적으로 유사한 결과를 얻음. 그리고 Binz & Schulz의 "Turning Large Language Models into Cognitive Models"(ICLR 2024)이 심리 실험 데이터로 LLM을 파인튜닝하면 두 개의 의사결정 도메인에서 전통적 인지모델을 능가하고, 다중 과제 파인튜닝으로 보지 못한 과제에서도 인간 행동을 예측한다는 것을 보임.

Coda-Forno et al.(ICML 2024) "CogBench"는 LLM을 7가지 인지 과제 벤치마크로 체계적으로 평가하는 인프라를 제공해서, "LLM을 인지모델로 쓰는 것"이 재현 가능한 과학이 되도록 연구.

추천시스템 분야에서는 Neural Utility Functions(AAAI 2021)가 훈련 과정에서 그래디언트에 제약을 가해 데이터로부터 경제학적 아이템 관계를 학습하고, 모델 아키텍처에 무관하게 Utility Prior를 다른 손실항과 결합 하는 접근을 제시했습니다. welfare-consistent utility recovery와는 다른 가지지만, "경제학 공리를 신경망 손실에 주입한다"는 공통 원리.

인지의 파운데이션 모델과 전략적 상호작용 (2024–2025)

4세대에서 검증된 원리들이 스케일업.

대표 성과는 Binz, Schulz 등의 Centaur 논문(Nature 2025). Psych-101이라는 데이터셋은 160개 실험에서 6만 명 이상 참가자가 수행한 1,000만 건 이상의 선택을 trial-by-trial로 담고 있고, Centaur는 Llama 3.1 70B를 이 데이터에 파인튜닝한 모델로, 기존 인지모델보다 held-out 참가자를 잘 예측할 뿐 아니라 새로운 cover story·구조 변형·완전히 새로운 도메인까지 일반화. 파인튜닝 후 모델 내부 표상이 인간 신경 활동과 더 정렬되는 것도 확인. 이는 "통합된 인지 이론"을 수식이 아닌 신경망 가중치로 구현하려는 첫 본격 시도.

같은 원리를 전략적 의사결정으로 확장한 것이 Zhu, Peterson, Enke, Griffiths의 Nature Human Behaviour 2025 논문 "Capturing the complexity of human strategic decision-making with machine learning". 2,400개 이상의 절차적으로 생성된 2인 행렬 게임에서 9만 건 이상의 인간 의사결정을 분석하고, DNN이 기존 전략적 행동 이론보다 더 정확하게 인간 선택을 예측함을 보인 뒤, 네트워크를 수정해 해석 가능한 행동 모형을 만들어 "개인의 최적 대응 능력과 타인에 대한 추론 능력이 게임 행렬의 복잡성에 따라 달라진다"는 통찰 을 얻음 — 경제학자가 이 접근을 학문 표준 경로로 받아들이기 시작

Plonsky, Erev 등의 Nature Human Behaviour 2025 논문 "Predicting human decisions with behavioural theories and machine learning"은 BEAST-GB라는 행동이론(BEAST)과 gradient boosting을 결합한 하이브리드가 CPC18 대회에서 우승했고, 두 개의 대규모 데이터셋에서 광범위하게 훈련된 신경망과 수십 개의 기존 행동모델을 능가 했다는 결과를 보고. 이는 "데이터가 많아도 행동이론에 예측을 정박시키는 것이 여전히 중요하다"는 교훈. Centaur(파운데이션 모델 접근)와 BEAST-GB(이론 기반 접근)가 같은 해 Nature 계열에 공존한 것은 이 분야의 현 상태를 정확히 보여줌.

현재 진행 중 (2025–2026)

이 시점의 연구는 아직 프리프린트이거나 단일 논문이라 주장을 신중하게 받아들여야 합니다.

소비자 수요 → 효용함수 역추정: Grzeskiewicz 등(2025)의 PEARL(Preference Extraction and Reward Learning)은 현시선호이론과 IRL을 결합해 Input-Concave Neural Network를 효용함수로 사용하여 교차가격탄력성을 포함한 재화 간 관계를 포착. 

교통 선택 모델: UINN(Utility-Informed Neural Networks, Expert Systems with Applications 2026)은 효용함수에 대한 그래디언트 기반 단조성 정규화를 통해 DNN의 유연성과 경제학적 논리를 모두 확보하고, 2017 California NHTS의 26,095개 가구 데이터로 검증.

LLM 페르소나 행동: Manning, Zhu, Horton이 개별 수준 행동경제학 데이터로 모델 편향을 조정하는 persona-based 접근을 통해 persona-conditioned LLM이 대규모로 인간과 유사한 의사결정 패턴을 시뮬레이션 하는 방향을 탐색 중, 신뢰 게임에서 LLM의 trustworthiness prior를 유도하는 연구도 진행중.

행동경제학 기반 딥RL 포트폴리오: Scientific Reports 2026년에 게재된 BBAPT는 손실회피와 자신과잉을 통합한 행동 기반 딥강화학습 포트폴리오 모델.

 

결론

경제학은 효용함수의 형상을 사람이 추측해야 했지만, AI는 그 모양을 데이터에서 학습할 수 있게함.

- 프로스펙트 이론 같은 고전 발견을 신경망이 재발견할 수 있음이 증명

- 신경망과 랜덤효용모델이 수학적으로 등가임이 확립됐습니다

- 경제학 제약을 신경망 구조 자체에 주입하는 기법

한계

- 비식별성

- 아직 평균추정만 가능

- 외생성, 인과성 식별 필요

- 순수 데이터 주도 연구가 전부는 아니다

 

'AI' 카테고리의 다른 글

AI 에이전트로 딥러닝 아키텍처를 만들 수 없을까...?  (0) 2026.04.21
TurboQuant  (0) 2026.04.18