한국어 箭头
Podcast Cover

[AI 시대의 새로운 노동 시장: 'Evals(평가)'의 부상과 Mercor의 기록적인 성장]-[Why experts writing AI evals is creating the fastest-growing companies in history | Brendan Foody (CEO of Mercor)]

Lenny's Podcast: Product | Career | Growth · B2 · 2025-09-18

Technology
또는 웹버전으로 공부하세요

📋 Summary

AI 모델의 성공을 결정짓는 핵심: 'Evals(평가)' 시대의 도래

현재 AI 업계에서 가장 중요한 화두는 단연 'Evals(평가)'입니다. Mercor의 CEO 브렌던 푸디(Brendan Foody)는 AI 모델이 곧 제품이 된 세상에서, 모델의 성능을 측정하는 'Evals'가 곧 '제품 요구사항 문서(PRD)'와 같은 역할을 한다고 강조합니다. 연구원들은 모델의 성능을 향상시키기 위해 수십 개의 실험을 반복하며 특정 평가 지표를 높이는 과정을 거치는데, 이 '평가'가 모델의 성공 여부를 결정짓는 핵심 병목 구간이 되고 있습니다.

왜 '인간 전문가'가 다시 필요한가?

많은 이들이 AI로 인한 일자리 대체에 대해 우려하지만, 실제 현장에서는 모델이 인간의 복잡한 추론이나 특정 도메인의 지식을 완벽히 수행하지 못하는 한계가 여전히 존재합니다. Mercor는 이러한 간극을 메우기 위해 변호사, 의사, 전문 소프트웨어 엔지니어와 같은 '최고 수준의 전문가(extraordinary professionals)'를 발굴하여 AI 모델의 훈련과 평가에 투입합니다.

브렌던 푸디는 이를 두고 "시장은 인간만이 할 수 있는 영역의 크기만큼 제한된다"고 설명합니다. 모델이 법률 문서를 검토하거나 복잡한 코딩을 수행할 때, 인간 전문가는 '성공의 기준(Rubric)'을 정의하고 모델의 결과물을 검증하는 역할을 수행합니다. 이것이 바로 최근 AI 연구의 핵심인 'RLAIF(AI 피드백을 통한 강화학습)' 환경에서 모델을 학습시키는 핵심 데이터가 됩니다.

Mercor: 17개월 만에 5억 달러 매출을 달성한 비결

Mercor는 단순히 인력을 중개하는 회사가 아니라, AI 연구소들이 필요로 하는 '노동 마켓플레이스'를 구축하여 16개월 만에 4억 달러의 매출 속도를 달성했습니다. 이들의 성공 요인은 다음과 같습니다.

  1. 시장 변화의 선행 지표 포착: 기존의 크라우드소싱 방식(저숙련 노동자 중심)이 아닌, 고숙련 전문가를 연결하는 시장의 거대한 변화를 읽어냈습니다.
  2. 고객 집착(Customer Obsession): 별도의 영업 조직 없이 오직 제품과 경험의 질에 집중하여, 고객사들이 지속적으로 협업하고 싶어 하는 환경을 조성했습니다.
  3. 높은 인재 밀도와 기준: 초기 10명의 채용부터 매우 신중하고 엄격한 기준을 적용하여, 업계 최고의 인재들로 조직을 구성했습니다.

미래의 노동 시장과 인재의 방향성

브렌던 푸디는 AI가 일자리를 대체하기보다는 인간의 생산성을 10배, 100배 향상시켜 더 많은 소프트웨어와 가치를 창출하는 '탄력적인(elastic)' 산업을 더욱 성장시킬 것이라고 주장합니다. 그는 젊은 세대에게 "AI를 활용해 더 많은 것을 구축하는 방법"을 배우라고 조언합니다. 특히 "AI와 싸우려 하지 말고, AI라는 도구를 활용해 1시간 안에 제품을 만드는 능력을 기르는 것이 경쟁력"이라고 덧붙였습니다.

결론: 멈추지 않는 혁신

Mercor의 사례는 AI 시대에 기업이 어떻게 가치를 창출해야 하는지를 잘 보여줍니다. 단순히 기술을 도입하는 것에 그치지 않고, AI 모델이 제대로 작동하도록 검증하는 '평가 생태계'를 구축하는 것, 그리고 그 과정에서 인간의 전문성을 결합하는 것이 가장 강력한 비즈니스 기회임을 증명하고 있습니다. 브렌던 푸디는 마지막으로 "아이디어만 가지고 있는 것은 아무것도 바꾸지 못한다. 직접 제품을 만들고 고객과 대화하며 행동으로 옮기는 것이 가장 중요하다"고 강조하며, 스스로의 한계를 규정하지 않는 'Can-do' 정신의 중요성을 역설했습니다.

🎯Key Sentences

1
The wealthiest companies in the world are willing to spend whatever it takes to improve model capabilities.
세계에서 가장 부유한 기업들은 모델 성능 향상을 위해서라면 어떤 비용도 감수할 의향이 있습니다.
2
We're entering the era of evals.
이제 평가의 시대가 열리고 있습니다.
3
Why is this so valuable?
이것은 왜 그렇게 가치가 있는 건가요?
4
The market is bound by the amount of things where humans can do something that models can't.
시장은 결국 모델이 할 수 없는, 인간만이 할 수 있는 일의 양에 의해 결정될 것이다.
5
If you really think about it, we were put on Earth to create reinforcement learning training data for labs.
곰곰이 생각해보면, 결국 우리는 연구소에 필요한 강화 학습 훈련 데이터를 만들기 위해 이 세상에 온 것과 다름없어.
모두 펼치기

📝Key Phrases

1
whatever it takes
무슨 수를 써서라도
2
revenue run rate
연간 매출 환산액
3
product market fit
제품 시장 적합성
4
bottleneck
병목 현상
5
job displacement
직업 대체
모두 펼치기

📖 Transcript

The wealthiest companies in the world are willing to spend whatever it takes to improve model capabilities.
We're entering the era of evals.
We started working with all of the top AI labs.
What the labs need is a labor marketplace.
They actually need extraordinary professionals that can measure model capabilities.
You found this pocket, maybe the biggest business opportunity in history.

ListenLeap이 실제 문맥에서 학습하도록 이끌어줌

🎨 흥미로운 콘텐츠
🌍 실제 자료
📱 언제든 듣고 보기