2025.09.17 < AI 산업 발전의 3단계와 핵심 기술 > 1) 초창기 AI 산업의 핵심은 모델을 훈련시키는 일이었다. 아이에게 수많은 책을 읽혀 언어를 가르치듯 방대한 데이터를 학습시키려면 막대한 연산 능력이 필요했고, GPU가 필수였다. 이 시기에는 연산 자원 확보가 곧 경쟁력이었다. 2) 하지만 GPT-3처럼 초대형 모델이 등장하며 GPU 부족 문제가 심각해졌다. 수천억 개의 지식 단위를 가진 모델을 돌릴 장비가 부족해 학습이 멈추는 병목이 생겼고, AI 산업은 첫 번째 기술 장벽에 부딪혔다. 3) 이 병목을 풀기 위해 고성능 GPU 중심의 인프라가 급속히 구축됐다. 엔비디아의 A100, H100 같은 GPU가 필수 부품이 되었고, GPU에 데이터를 빠르게 공급하는 고속 메모리와 GPU·메모리를 정밀하게 붙이는 패키징 기술도 함께 성장했다. 이 세 축이 훈련 시대를 지탱했다. 4) 두 번째 단계는 AI가 실제 서비스로 확산되며 추론 중심으로 전환된 시기다. 수십억 명이 마이크로소프트 코파일럿 같은 서비스를 실시간으로 호출하며 훈련보다 훨씬 더 잦고 많은 연산이 필요해졌다. 5) 그런데 GPU 성능만으로는 폭증하는 요청을 감당할 수 없었다. 수천 개 GPU가 묶인 AI 클러스터에서는 GPU끼리 데이터를 주고받는 속도가 성능을 좌우하게 되었고, 네트워크와 저장장치가 새 병목으로 떠올랐다. 6) 이때 등장한 것이 초고속 네트워크와 차세대 저장기술이다. 800G급 스위치 같은 장비가 GPU 사이의 데이터 고속도로 역할을 했고, NVMe-oF나 벡터 DB 같은 기술이 GPU의 대기 시간을 줄였다. 이 시기에 브로드컴 같은 네트워크 칩 기업들이 부각됐다. 7) 세 번째 단계에서는 추론이 일상화되며 데이터 품질이 가장 중요한 과제가 됐다. 인터넷에 남은 고품질 데이터는 거의 소진됐고, AI가 만든 합성 데이터가 퍼지며 오염 문제가 커졌다. 이제는 데이터 양보다 ‘제대로 된 데이터’를 고르는 능력이 중요해졌다. 8) 이를 해결하기 위해 등장한 개념이 ‘데이터 근접 추론’이다. 데이터를 GPU로 옮기지 않고 AI가 데이터가 있는 곳으로 가서 처리하는 방식이다. 오라클, 스노우플레이크, 몽고DB 등이 자사 데이터 플랫폼에 AI 기능을 직접 넣으며 이 흐름을 주도하고 있다. 9) 동시에 흩어진 데이터를 효율적으로 관리하는 인프라도 중요해졌다. 멀티클라우드와 하이브리드 클라우드가 표준처럼 자리 잡을 것이고, 데이터에 꼬리표를 붙이거나 불필요한 정보를 걸러내며 출처를 증명하는 기술의 가치도 높아질 전망이다. 10) 결국 AI 산업은 GPU라는 단일 부품 중심에서 전력, 네트워크, 저장장치, 데이터, 플랫폼까지 아우르는 ‘엔드 투 엔드 공장’으로 진화하고 있다. 단계마다 생기는 병목을 풀어내는 기업들이 앞으로의 기회를 선점하게 될 것이다.