시큐리티팩트

[시큐리티팩트=최석윤 기자] 구글이 엔비디아 아성에 공개적으로 도전장을 던졌다. 25일(현지 시각) 외신 보도에 따르면, 구글은 그동안 자사 데이터센터용으로만 폐쇄적으로 사용하던 인공지능(AI) 반도체, 텐서처리장치(TPU)를 외부 기업에 전면 판매하겠다고 선언했다. 구글의 선언은 단순한 사업 확장을 넘어, 엔비디아의 그래픽처리장치(GPU)가 장악한 시장에 구글이 '경제적 역습'을 감행하며 AI 하드웨어 패권을 완전히 재편하겠다는 강력한 의지의 표현이다.

챗GPT 이후 대규모 언어 모델(LLM)의 폭발적인 성장은 기업들에게 천문학적인 컴퓨팅 자원을 요구하기 시작했다. 이 수요 폭증 속에서 엔비디아 GPU는 '없어서 못 파는' 품귀 현상을 빚었고, 가격은 천정부지로 치솟았다. 이 공급 부족과 독점적 가격 정책이 AI 산업의 혁신 속도를 저해하는 '공급 병목'이 되었다. 구글의 참전은 바로 이 약점을 정면으로 파고든다.

구글의 '반도체 독립' 시나리오는 2013년 구글 딥마인드가 내부적으로 직면했던 비용 위기에서 시작됐다. 당시 구글은 모든 인류가 하루 3분씩만 음성 검색을 사용해도 데이터센터를 두 배로 늘려야 한다는 계산을 내놨다. 기존 CPU나 GPU로는 회사가 파산할 지경의 막대한 비용을 감당할 수 없음을 깨달은 것이다. 결국 구글은 "게이머를 위한 범용 칩"이 아닌, 오직 "AI 연산만을 위한 맞춤형 칩"을 자체 개발했다. 이것이 바로 TPU(TPU, Tensor Processing Unit)다. 

이제 TPU는 구글 검색, 알파고, 제미나이(Gemini) 같은 구글의 핵심 AI 서비스를 넘어, '엔비디아 시대'의 종언을 예고하는 강력한 무기가 되어 전 세계 AI 인프라 시장으로 진격을 시작했다.

GPU vs TPU, '맥가이버 칼'이 '메스'에 당황하는 이유

AI 칩 전쟁의 핵심은 기술력의 우위를 넘어선 '효율성과 비용'의 전쟁이다. TPU가 엔비디아를 당황시키는 이유는 그 근본적인 '칩 설계 철학'에 있다.

엔비디아 GPU는 그래픽 처리부터 코인 채굴, AI 연산까지 모든 영역을 커버하는 '맥가이버 칼(스위스 아미 나이프)'과 같다. 모든 것을 할 수 있지만, 특정 작업에서는 비효율이 발생한다.

반면, TPU는 특정 수술을 집도하는 정교한 '메스'와 같다. TPU는 철저히 텐서(Tensor) 연산에만 최적화된 주문형 반도체(ASIC, Application-Specific Integrated Circuit)다. GPU와의 근본적인 차이는 범용성 대 특화성이다. TPU는 훈련과 추론이라는 AI의 핵심 작업만 놓고 보면, 불필요한 기능을 뺀 덕분에 압도적인 전력 효율과 가성비를 발휘한다.

핵심은 칩 내부에 탑재된 '행렬 연산 유닛(MXU, Matrix Multiplication Unit)'이다. TPU는 이 유닛을 통해 GPU보다 훨씬 적은 전력으로 더 많은 텐서 연산을 수행한다. 구글 내부 테스트 결과, TPU는 적절한 AI 작업량에서 비용, 속도, 효율성 면에서 GPU 대비 30%에서 때로는 두 배까지 뛰어난 결과를 내는 것으로 알려졌다. 최근 공개된 제미나이 3.0이 엔비디아 GPU 없이 구글 TPU만으로 데이터 학습과 추론 작업을 수행했음에도, 이용자 직접 평가 지표인 ‘LM아레나 리더보드’에서 1위를 차지한 것은 이 효율성이 실제 성능으로 입증된 사례다.

TPU, '저렴한 AI 미래'의 핵심 동력

AI 모델의 크기가 커질수록 단일 칩의 성능보다 칩들을 얼마나 효율적으로 연결하느냐가 중요해진다. TPU의 압도적인 경쟁력은 바로 '스케일링 능력'에서 나온다.

TPU는 수천 개의 칩을 초고속 인터커넥트로 연결하는 'TPU Pod' 구조를 가진다. 최신 7세대 '아이언우드(Ironwood)'는 이 구조를 극대화해 대규모 모델 학습, 복잡한 강화학습, 초저지연 AI 추론 같은 가장 까다로운 워크로드에 최적화되었다. GPU 기반 데이터센터가 복잡하고 비싼 네트워킹 장비를 통해 칩들을 연결해야 하는 데 반해, TPU는 이 구조를 칩 설계 단계부터 통합해 AI 데이터센터 구축 비용을 획기적으로 절감할 수 있다. 이는 곧 구글이 AI 인프라 시장에 제시하는 가장 강력한 무기, 즉 '저렴한 AI 미래'의 핵심 동력이다.

구글은 TPU를 자사의 TensorFlow 및 JAX 프레임워크와 긴밀하게 통합했다. 이러한 하드웨어와 소프트웨어의 수직 통합은 개발 용이성과 타의 추종을 불허하는 성능 이점을 제공한다. 구글은 외부 칩 공급에 의존하지 않고, 자체적으로 TPU 버전(v1~v7)을 빠르게 업그레이드하며 기술 혁신 주기를 주도할 수 있다.

엔비디아 독점 '균열'과 구글의 경제적 우위 전략

TPU의 외부 판매 선언은 단순히 구글 클라우드의 경쟁력을 강화하는 것을 넘어, 엔비디아 독점의 실질적인 붕괴 신호다.

TPU는 현재 Google Cloud Platform(GCP)의 가장 강력한 경쟁 무기다. 자체 칩을 통해 클라우드 고객에게 독점적인 고성능 AI 인프라를 제공하는 전략이다.

월가는 이 점을 가장 우려한다. 만약 구글이 TPU 생태계를 성공적으로 확장한다면, GCP는 소위 "젠슨 황의 75% 마진(엔비디아 세금)"이 적용되지 않는 유일한 메이저 클라우드가 된다. 엔비디아 GPU를 필수로 구매해야 하는 타 클라우드와 달리, 구글은 자체적으로 제조한 TPU를 통해 가격 경쟁력을 확보하고 클라우드 마진을 높일 수 있다. 2년 뒤 AI 인프라 경쟁의 승패는 '속도'가 아닌 '비용'에서 갈릴 것이며, 여기서 구글은 구조적인 우위를 점할 수 있다. 구글 경영진 역시 내부적으로 TPU 시장 확대로 "엔비디아 데이터센터 매출의 10% 이상을 흡수"할 수 있다고 전망하며 강한 자신감을 내비친다.

메타와 구글 협력 가능성… 엔비디아 '큰손'의 이탈 조짐

구글의 역습에 엔비디아가 당황할 수밖에 없는 결정적인 이유는 메타(Meta Platforms)의 움직임 때문이다. 메타는 현재 엔비디아 GPU의 최대 고객 중 하나다. 그런데 메타가 2027년부터 자사 데이터센터에 구글 TPU를 도입하기 위해 수십억 달러 규모의 투자를 논의 중인 정황이 포착됐다.

메타의 TPU 채택은 단순히 고객사 하나를 잃는 것을 넘어선다. 이는 칩 공급 부족과 고비용에 시달리던 빅테크 기업들이 "엔비디아 외에 대안이 있다"는 것을 전 세계에 증명하는 사건이다. 메타의 움직임이 현실화된다면, 견고했던 '엔비디아-CUDA 생태계'에 첫 실제 균열이 생기는 것이다. 구글은 이 기회를 놓치지 않고, TPU를 외부 기업에 온프레미스(직접 설치) 방식으로 판매하는 파격적인 전략까지 추진하고 있다.

엔비디아 독점 끝, AI 인프라시장 다극화 시대로

TPU의 역습은 AI 인프라 시장의 독점 시대를 끝내고 ASIC 다극화 체제라는 새로운 패러다임을 제시했다. 구글 외에도 아마존(AWS)의 트레이니엄, 마이크로소프트의 마이아 등 빅테크들은 이미 자체 칩 개발에 막대한 투자를 하고 있다.

물론 난관은 있다. 엔비디아의 CUDA 생태계는 여전히 업계의 '종교'와 같다. 수많은 개발자들이 이미 CUDA에 익숙해져 있으며, 비용 절감을 위해 전체 코드베이스를 다시 짜는 것은 기업들에게 큰 부담이다.

하지만 구글은 이 진입장벽을 낮추기 위해 노력하고 있다. 최근 파이토치(PyTorch) 최적화를 지원하고 TPU 관리 API를 개방하는 등, TPU의 범용성을 강화하며 생태계의 문을 넓히고 있다.

엔비디아가 여전히 하드웨어 시장의 압도적인 강자임은 분명하다. 하지만 AI 칩 전쟁은 이제 '속도와 효율'이라는 새로운 잣대로 2막에 돌입했다. TPU는 구글이 AI 시대를 주도하기 위한 핵심 전략 자산일 뿐 아니라, 향후 2026년부터 2030년까지 AI 하드웨어 패권이 엔비디아 독주가 아닌, '비용 효율성'을 앞세운 다극 체제로 분산될 것임을 알리는 명확한 신호탄이다.

엔비디아는 하드웨어 자체에서 이길지라도, 구글은 '경제적' 전쟁에서는 승리할 수 있다. 이것이 바로 AI 칩 전쟁의 새로운 규칙이다.