머신러닝에서도 공짜 점심은 없다! NFL:NoFreeLunch (2026-03-11 수정됨)

'공짜 점심은 없다'라는 말은 경제학에서 유명한 명언으로 세계적인 경제학자 밀턴 프리드먼이 주장했던 내용이다.

이 말은 누군가가 공짜로 점심을 제의한다하더라도 그 대가로 자신은 그 시간동안 할 수 있었던 다른 일
결국 어떠한 기회비용을 분명히 치른다는 것이다.

 

만약 1시간에 10만원을 버는 사람이 전화를 받느라 1시간을 쓴다면 그 사이 10만원을 잃게 된다.

하지만 그렇지 않은 사람은 1시간에 대한 기회비용이 없기 때문에 그에 대한 비용이 발생하지 않는다.

 

이렇듯 경제학자들은 사람마다 기회비용이 다르다고생각하고 위렌버핏과 한 끼 점심에 수억원을 투자하는 이유도 이와 같은 이치로 볼 수 있다.

 

그런데 이러한 개념은 머신러닝에서도 마찬가지이다.

1996년 데이비드 월퍼트(david wolperts)는 The Lack of A Priori Distinctions Between Learning Algorithms 이라는 논문에서 데이터에 관해 어떤 가정도 하지 않으면 한 모델을 다른 모델보다 선호할 근거가 없음을 보였다.

 

즉 어느 한 task에 최적화된 머신러닝 모델을 다른 task에 적용한다고 한들 제대로 task 수행하기를 바라는 것은 공짜 점심을 바라는 것과 같다는 말이다.

 

이는 결국 어떠한 task를 해결하기 위해서 어떤 모델이 좋을지는 결국 시도해봐야 알 수 있다는 것이다.

 

머신러닝은 학습용 데이터셋에서 종속변수와 독립변수의 관계를 분석하고 이를 기반으로 모델을 만드는 것이므로 철저하게

학습용  데이터셋에 종속된다. 따라서 항상 해결하려는 문제를 정확하게 정의하고 그에 최적화된 머신러닝을 적용해야한다.

 

 

2026-03-11 추가 내용

2026년 현재 LLM의 등장이후 LLM과 멀티모달 등 지속적인 AI Agent가 발담함에 따라 "어느 한 Task에 최적화된 머신러닝 모델을 다른 task에 적용하여 그 Task가 제대로 수행되기를 바라는 것은 공짜 점심을 바라는 것과 같다"라는 내용은 다시 생각해봐야할 문장이 되었다.

 

GPT, Cladue, Gemini 등과 같은 모델들은 번역, 코딩, 추론, 창작 등 전혀 다른 Task들을 별도 최적화 없이 수행하기 때문이다.

당시의 글을 작성할 때는 어느 정도 맞는말이었으나, LLM의 등장으로 인해서 이야기가 달라졌다.

 

하지만 NFL 정리 자체는 수학적 정리로서 여전히 "학습 데이터에 종속된다"라는 본질은 동일하며

LLM의 등장은 NFL 정리를 반박하는 것이 아닌 학습 데이터의 범위를 극단적으로 넓혀서 기회비용을 줄인 것에 가깝다.

공짜 점심은 여전히 없고, 다만 LLM은 그 점심값을 데이터 규모로 치르고 있다.

 

LLM이 다양한 Task를 잘 수행하는 것처럼 보이는 이유는 NFL 정리를 극복해서가 아니라,

학습 데이터의 규모와 다양성이 압도적으로 방대하기 때문이다.

 

LLM이 특정 언어나 문화권 데이터가 부족하면 해당 영역에서 성능이 급격히 떨어지고, 학습 데이터 cutoff 이후의 사건은 알지 못하며, 학습 데이터에 없는 전문 도메인 지식은 환각으로 채우려하는 문제가 발생한다.

 

NFL 정리의 핵심 주장은 "데이터에 관해 어떤 가정도 하지 않으면, 한 모델을 다른 모델보다 선호할 근거가 없다" 는 것이다.

뒤집어 말하면, 어떤 가정이든 가정이 존재한다면 특정 모델이 우위를 가질 수 있다는 얘기다.

 

LLM은 "자연어 데이터에는 학습 가능한 통계적 패턴과 구조가 존재한다" 는 가정 위에서 작동하며, 이 가정 덕분에 다른 모델보다 우위를 가진다. 따라서 LLM의 성공은 NFL 정리를 반박하는 것이 아니라, NFL 정리를 그대로 따르는 사례라고 볼 수 있다.