AI 에이전트로 딥러닝 아키텍처를 만들 수 없을까...?

2003년 — Gödel Machine 

Schmidhuber가 제안한 Gödel Machine은 수학적으로 엄밀하고 완전히 자기참조적인 자기개선 문제해결기로, Kurt Gödel의 자기참조 공식에서 영감을 받아, 재작성이 유용하다는 증명을 찾자마자 자신의 코드를 다시 쓰는 시스템 입니다. 이론적으로 완벽하지만 증명 탐색의 어려움, 순수 연역적 개선 기준의 취약성, 자기 수정 중 안전 문제.

2016년 11월 — NAS의 출발점 (Zoph & Le)

Google Brain의 Barret Zoph와 Quoc Le의 "Neural Architecture Search with Reinforcement Learning" 논문. RNN 컨트롤러가 신경망 모델 설명을 생성하고, 생성된 아키텍처의 검증 정확도를 최대화하도록 강화학습으로 훈련하는 방식으로, CIFAR-10에서 기존 최고 인간 설계 모델을 능가하는 3.65% 테스트 에러를 달성 .

2019년 — DARTS: 미분 가능한 탐색

Liu, Simonyan, Yang이 "DARTS: Differentiable Architecture Search"를 ICLR 2019에 발표. 이산적 구조 탐색을 연속 완화(continuous relaxation)해서 그래디언트 디센트로 품

2024년 8월 — The AI Scientist v1 (Sakana AI)

Sakana AI, 옥스퍼드, UBC의 협업작품. NanoGPT, 2D Diffusion, Grokking 같은 템플릿 위에서 LLM이 아이디어 생성 → 실험 코드 작성/실행 → 결과 시각화 → 전체 논문 작성 → 자동 리뷰까지 수행 한 최초의 엔드투엔드 시스템. 대중의 주목을 끌었고, "AI가 연구할 수 있다"는 프레임을 만듬

2025년 5월 — AlphaEvolve (DeepMind)

Gemini 기반 진화적 코딩 에이전트로, Google 대규모 컴퓨팅 스택의 핵심 구성요소를 최적화한 결과, 데이터센터의 더 효율적인 스케줄링 알고리즘을 개발하고, 하드웨어 가속기 회로 설계의 단순화를 발견했으며, AlphaEvolve를 구동하는 LLM 자체의 학습을 가속 . 즉, AI가 자기 자신을 훈련하는 코드를 개선하는 자기개선 루프가 최초로 프로덕션에 포함. 23% 빠른 커널, 1% AI 모델 학습시간 단축, Google 데이터센터 0.7% 컴퓨트 효율 향상 .

2025년 7월 — ASI-Arch

Shanghai Jiao Tong University의 GAIR 랩 + MiniMax AI. 인간이 정의한 탐색 공간 안에서만 최적화하는 전통적 NAS의 한계를 넘어, 자동화된 최적화에서 자동화된 혁신으로의 패러다임 전환을 최초로 증명 . Researcher, Engineer, Analyst 세 에이전트가 1,773회의 자율 실험을 20,000 GPU 시간 동안 수행해 106개의 새로운 SOTA 선형 어텐션 아키텍처를 발견했고, 발견 속도가 컴퓨트와 선형적으로 스케일링됨을 확인 . NAS 1.0의 근본적 한계를 돌파한 순간.

 

2026년 4월 — AutoSOTA, TREX, Pioneer Agent

AutoSOTA는 8개 top-tier 논문에 대해 평균 5시간/논문으로 105개의 새로운 SOTA 모델을 자동 발견. TREX는 MCTS로 fine-tuning 전체 라이프사이클 자동화. Pioneer Agent는 프로덕션 모델을 지속 개선.

 

결론

- 가능한가? → 예. 좁은 도메인에선 인간 초과 (선형 어텐션, CUDA 커널, 수학 문제, 데이터센터 스케줄링)

- 신뢰성 있게 작동 되는가? → 아직 아님. ResearchGym 6.7%, PostTrainBench 23.2%가 현실.

- 자기개선 루프가 실제로 돌아가는가? → 부분적으로는 예. AlphaEvolve가 자기 학습 커널을 개선하는 선례.

- 다음 목표: 메인 컨퍼런스 수준의 연구 자동화, 새 거대 모델 패러다임의 자율 발견, 일관된 reliability.