한국어 箭头
Podcast Cover

[인도의 AI 혁명: Yotta Data Services와 Shakti Cloud의 부상]-[Yotta CEO Sunil Gupta on Supercharging India’s Fast-Growing AI Market - Ep. 225]

NVIDIA AI Podcast · B2 · 2024-06-03

Technology
또는 웹버전으로 공부하세요

📋 Summary

인도의 AI 인프라 혁신: Shakti Cloud의 탄생

최근 NVIDIA AI 팟캐스트에 출연한 Yotta Data Services의 CEO Sunil Gupta는 인도의 급성장하는 AI 시장과 자사가 구축한 혁신적인 GPU 클라우드 플랫폼인 'Shakti Cloud'에 대해 상세히 설명했습니다. Yotta는 NVIDIA 파트너 네트워크(NVIDIA Partner Network Program)의 첫 인도 클라우드 서비스 제공업체로서, 16,000개 이상의 NVIDIA H100 GPU를 기반으로 16엑사플롭스(exaflops)의 AI 연산 능력을 제공하는 인도의 가장 빠른 AI 슈퍼컴퓨팅 인프라를 구축하고 있습니다.

기술적 아키텍처와 독립형 클라우드

Shakti Cloud는 NVIDIA의 참조 아키텍처를 완벽하게 준수하여 설계되었습니다. Sunil Gupta는 "우리는 단 하나의 요소도 벗어나지 않고 NVIDIA의 설계를 그대로 따랐다"고 강조했습니다. 이 인프라는 2,000개의 GPU로 구성된 '포드(pod)' 단위로 설계되어, 소규모 스타트업을 위한 단일 GPU 할당부터 대규모 언어 모델(LLM) 훈련을 위한 16,000개 이상의 GPU를 결합한 '슈퍼 포드'까지 유연한 확장성을 제공합니다. 또한 Weka의 고속 스토리지와 NVIDIA AI 엔터프라이즈 소프트웨어 스택을 통합하여, 사용자가 데이터 주권(sovereign cloud)을 유지하면서도 모델 훈련 및 추론을 수행할 수 있는 환경을 마련했습니다.

인도, 세계의 AI 차고(Garage)가 되다

Gupta는 인도가 단순한 AI 소비국에 머물지 않고, 과거 IT 서비스 분야에서 전 세계의 '차고' 역할을 했던 것처럼 AI 모델 개발의 중심지가 될 것이라고 확신합니다. 그는 인도의 9억 명에 달하는 인터넷 사용자, 6억 명의 스마트폰 사용자, 그리고 42만 명 이상의 AI 전문 인력을 그 근거로 꼽았습니다. 특히 인도의 연간 7.5% 경제 성장률과 함께, 최근 급격히 증가한 데이터 센터 용량(1GW 생산 및 700MW 추가 예정)은 인도가 전 세계 기업들을 위한 AI 인프라를 제공할 수 있는 강력한 기반이 되고 있습니다.

사용자 중심의 셀프 서비스 플랫폼

Shakti Cloud의 핵심은 복잡한 인프라를 손쉽게 제어할 수 있는 '셀프 서비스 오케스트레이션 레이어'입니다. 사용자는 온라인 포털을 통해 베어메탈 노드, Kubernetes 클러스터, Slurm 클러스터를 즉시 생성할 수 있습니다. 또한, 서버리스(serverless) 기능을 통해 추론 시 트래픽 변동에 맞춰 유연하게 GPU 자원을 소비할 수 있는 환경을 제공합니다. Gupta는 "대부분의 기업은 기초 모델을 처음부터 만들기보다, 기존 모델을 가져와 자사의 특정 데이터를 결합한 미세 조정(fine-tuning) 모델을 사용하게 될 것"이라며, 이를 위한 마켓플레이스 환경의 중요성을 역설했습니다.

보안과 지속 가능한 성장

보안 측면에서 Yotta는 H100 GPU의 'Confidential VM' 기능을 도입하여 고객의 민감한 IP 데이터가 운영자에게도 노출되지 않도록 보장합니다. 또한, 지속 가능성을 위해 PUE(전력 사용 효율)를 1.2 이하로 낮추는 직접 액체 냉각(Direct Liquid Cooling) 기술을 적용하고 있으며, 이미 전체 전력의 50% 이상을 수력, 태양광, 풍력 등 녹색 에너지원에서 공급받고 있습니다. Gupta는 향후 100% 친환경 전력으로의 전환을 가속화할 계획이라고 밝혔습니다.

결론 및 향후 비전

Sunil Gupta는 인도의 AI 시장이 현재의 16,000개 GPU 규모를 넘어 수십만 개 단위로 확장될 것으로 내다보고 있습니다. Shakti Cloud의 목표는 단순히 인도 내 서비스에 그치지 않고, 인도의 관리 역량을 바탕으로 중동 및 아프리카 등 전 세계로 확장하는 것입니다. "우리는 기술을 계속해서 배우고 시장의 필요에 따라 전략을 유연하게 조정할 것"이라는 그의 말처럼, Yotta는 인도를 넘어 글로벌 AI 인프라의 핵심 파트너로 도약하고 있습니다.

🎯Key Sentences

1
So let's get right to it.
그럼 바로 본론으로 들어가죠.
2
You've been in the news.
뉴스에 나오셨더군요.
3
A lot to congratulate you on.
축하드릴 일이 정말 많네요.
4
We are not deviating from that even for a single cloud.
우리는 그 원칙에서 단 한 치도 물러서지 않을 것입니다.
5
It's like a marriage of two consenting partners.
마치 두 당사자가 합의하에 맺는 결혼과도 같습니다.
모두 펼치기

📝Key Phrases

1
take a plunge
과감하게 도전하다
2
to the T
완벽하게
3
grounds up
기초부터 차근차근
4
come in handy
유용하게 쓰이다
5
need of the hour
지금 가장 필요한 것
모두 펼치기

📖 Transcript

Hello and welcome to the NVIDIA AI podcast.
I'm your host, Noah Kravitz. We're recording at GTC24 in San Jose, California, and we're here to talk about the fast-growing AI market in India.
My guest is Sunil Gupta. Sunil is the co-founder, managing director, and CEO of IATA Data Services.
Yada is the first Indian Cloud Service Provider member of the NVIDIA Partner Network Program, and the company Shakti Cloud offering is India's fastest AI supercomputing infrastructure. featuring 16 exaflops of AI compute capacity supported by more than 16,000 NVIDIA H100 GPUs.
Sunil's been a busy man this week, but he's taken some time to stop by the podcast studio here at GTC to tell us all about IATA and its role. in India's fast-growing AI sector.
So let's get right to it. Sunil Gupta, thank you so much for stopping by.

ListenLeap이 실제 문맥에서 학습하도록 이끌어줌

🎨 흥미로운 콘텐츠
🌍 실제 자료
📱 언제든 듣고 보기