미래 AI 공급망에 대한 예측 - Predictions on the Future AI Supply Chain

미래 AI 공급망에 대한 예측

2025년 현재는 AI 공급망의 초기 상태라고 볼 수 있다.

왜냐하면, AI GPU의 성능이 비약적으로 발전하고 있는 한편 주요 클라우드 플레이어들의 AI GPU 수요가 공급보다 훨씬 높기 때문이다. 이러한 상황에서 수년 전에 본격적으로 공급되기 시작한 AI GPU 조차도 현역으로 사용되고 있으며 감가상각된 AI GPU를 최신 AI GPU로 대체하기에도 어려운 상황이다. 당장은 AI 투자가 지나치다며 버블이라고 우려하고 있지만, 잠깐 흥분을 멈추고 전체적인 방향을 검토한다면 거대한 흐름을 이해하게 될 것이다.

불과 몇년 전 AI 산업이 본격적으로 시작될 때, AI의 규모와 성능을 평가하는 지표는 AI GPU를 얼마나 보유하고 있는가였다. 시간이 조금 지나서 주요 AI 플레이어들은 하이퍼스케일러라는 대규모의 클라우드 데이터센터를 만드는 계획을 발표하고, 여기에 필요한 많은 구성요소들 중에서 특히 전력에 대한 수요가 매우 중요함을 강조하기 시작했다. 그래서 전력의 공급 단위로서 GW(Giga watt)를 AI의 규모와 성능을 평가하는 지표로 삼기 시작했다. 앞으로는 어떻게 될 것인지 생각해보면 쉽게 예측이 가능하다.

가까운 미래에는 추론 처리량이 새로운 지표가 될 것이다. 그 이유는 다음과 같은 시나리오에서 진행될 수 있다.

1. 하이퍼스케일러에 설치되는 새로운 AI GPU는 더 적은 상면을 차지하고 더 높은 성능을 발휘하며 더 낮은 전력 소비를 제공하므로 종전에 비해 더 차이를 벌리게 될것이다.
2. 아무리 하이퍼스케일러가 거대하다 할지라도 상면의 공간은 제한적이므로 기존의 감가상각되어 더이상 사용하지 않게 되는 AI GPU는 중고시장으로 흘러들어가게 될 것이다.
3. 하이퍼스케일러의 규모에 따라 다르겠지만, 전력 소비량이 현재 예측하는 것만큼 기하급수적으로 증가하지도 않을뿐더러, 요구사항을 단기간에 만족시키기란 불가능하다.

이러한 조건에서 하이퍼스케일러는 더욱 고도화될 것이며 주요 AI 플레이어는 신규 플레이어의 진입을 더욱 확실하게 제한하게 될 것이고, 전력 공급은 비교적 낮은 위협요인이 될 것이다. 그러면 이제는 제2차 시장인 중고 AI GPU 시장이 열리게 되는 것을 눈여겨 보아야 할 것이다.

감가상각된 중고 AI GPU가 시장에 풀리면 이를 필요로 하는 수많은 국가와 기업이 새로운 고객이 될 것이다. 모든 일에는 항상 최상의 장비가 필요하지는 않다. 많은 사람에게 자동차가 필요하지만 항상 페라리가 필요한 것은 아니다. 어떤 사람에게는 포드나 GM이 필요하다. 중고 AI GPU로 시장에 풀리게 될 후보는 초기버전의 AI GPU일 것이다. 이정도만 하더라도 수출제한 대상이 될 정도로 강력한 성능일 수 있다.

이 중고 제품으로 할 수 있는 것이 무엇일까? 다음과 같은 분야를 예측해볼 수 있다.

1. 각 국가의 소버린 AI(안보, 전략산업, 행정, 금융 등)
2. AI 생태계에 진입하려는 중간규모 이상의 기업
3. Edge AI

이러한 분야에서는 주요 AI 플레이어만큼 고성능은 아니지만 충분한 성능의 AI가 필요하고, 임대의 방식보다는 직접 AI를 구축하여 특성화 및 분산화를 해야 할 필요가 있다. 주요 선진국과 중진국의 경우에는 최신형 AI GPU로 소버린 AI를 구축하기에는 대기 시간과 경험 그리고 노하우 및 지속적인 자본 투입이 어렵다.(알려진 것과 같이 AI GPU는 내구재가 아니라 비싼 소모품이다. 즉, 주기적인 교체와 유지보수가 필요한 피곤한 물건이다.) 기업도 마찬가지이다. 그들의 필요에 따라서 적정한 규모의 AI 생태계를 구축하려고 하겠지만 특정하고 제한된 분야에 대해서만 AI를 적용해야 비용과 운영에 있어서 효율성 달성이 가능할 것이다. 마지막으로 Edge AI도 유사한 상황이 될 가능성이 크다. 어차피 대규모 처리는 하이퍼스케일러에서 이루어져야 한다. 훈련과 추론, 그리고 거기에 필요한 데이터를 보관할 수 있는 곳은 하이퍼스케일러밖에 없다. 그러나 하이퍼스케일러에서 충분히 훈련된 모델을 적절히 튜닝해서 Edge AI에 배포한다면 반드시 최신의 AI GPU가 필요하지 않을 것이다. 그래서 이러한 소버린 AI, 기업, Edge AI에게는 제2차 시장이 필요할 수 있다. 

그리고 이러한 시장에서는 AI GPU의 수량이나 전력 공급량은 크게 중요하지 않고 오히려 추론 처리량이 관건이 될 것이다. 각 주체들이 필요로하는 AI 추론 처리량을 만족시키기만 한다면 AI GPU의 수량이 몇개든 관계없고, 전력 공급량은 기존의 공급망에서 충분히 제공 가능할 것이기 때문에 크게 걱정할 필요가 없을 것이다. 오히려 목적에 맞는 추론 처리량을 제공할 수 있느냐가 관건이 되며, 이때 부터는 서비스 개념으로 전환될 것이다.

SaaS(Software as a Service)를 알고 있을 것이다. 제2차 시장에서도 이와 같은 방식의 서비스로 AI 구축이 진행될 것이다. AI 인프라를 제공하는 기업이 추론 처리량을 기준으로 SLA 계약을 하고 분산화 및 특성화를 만족시켜줄 수 있다면, AI는 상하수도, 전기, 통신과 같은 새로운 필수재로 인식될 것이다. 이정도 까지 진행이 된다면 AI GPU 시장은 지속적인 교체수요를 꾸준히 유지하겠지만 현재와 같은 공급부족으로 인한 병목현상은 일어나지 않게 될 것으로 예측된다.

당분간은 산업의 초기 단계이므로 큰 흐름을 지켜 보아야 할 것이다. 

= = = = = = = = = =

Predictions on the Future AI Supply Chain

The current state of the AI supply chain in 2025 can be seen as its initial stage.

This is because, while the performance of AI GPUs is making leaps and bounds, the demand for AI GPUs from major cloud players is much higher than the supply. In this situation, even AI GPUs that began full-scale provisioning several years ago are still in active use, and it's difficult to replace depreciated AI GPUs with the latest ones. For now, there are concerns that AI investment is excessive, calling it a bubble, but if we pause the excitement briefly and examine the overall direction, we will grasp the larger trend.

Just a few years ago, when the AI industry was taking off, the metric used to evaluate the scale and performance of AI was how many AI GPUs were owned. As time passed, major AI players announced plans to build hyperscaler cloud data centers and began emphasizing that the demand for power, among the many necessary components, was extremely critical. Thus, GW (Gigawatt) was adopted as the unit of power supply and began to be used as a metric to evaluate the scale and performance of AI. It is easy to predict what will happen next.

In the near future, inference throughput will become the new metric. This is likely to unfold under the following scenarios

1. New AI GPUs installed in hyperscalers will occupy less floor space, deliver higher performance, and consume less power, widening the gap with previous generations.
2. No matter how massive a hyperscaler is, floor space is limited, so existing, depreciated AI GPUs that are no longer used will flow into the second-hand market.
3. Depending on the scale of the hyperscaler, power consumption will neither increase exponentially as currently predicted, nor will it be possible to satisfy requirements in the short term.

Under these conditions, hyperscalers will become more sophisticated, major AI players will more definitively restrict the entry of new players, and power supply will become a comparatively lower threat factor. Therefore, attention should now be paid to the opening of the second-hand AI GPU market, which is the second-tier market.

When depreciated, second-hand AI GPUs are released into the market, countless countries and businesses that need them will become new customers. Not every task requires the absolute best equipment. Many people need a car, but they don't always need a Ferrari; some need a Ford or a GM. Candidates for the second-hand AI GPU market will be early-version AI GPUs. Even these may possess performance strong enough to be subject to export restrictions.

What can be done with these second-hand products? The following areas can be predicted

1. Sovereign AI for various countries (security, strategic industries, administration, finance, etc.)
2. Medium-to-large-sized enterprises looking to enter the AI ecosystem
3. Edge AI

These sectors need AI with sufficient performance, even if not the ultra-high performance of major AI players, and they will need to build, specialize, and decentralize their AI directly rather than relying on rental models. For major developed and developing countries, building Sovereign AI with the latest AI GPUs is difficult due to long wait times, lack of experience and know-how, and the challenge of continuous capital injection. (As is known, AI GPUs are not durable goods but expensive consumables—meaning they are demanding items that require periodic replacement and maintenance.) The situation is similar for enterprises. They will attempt to build an appropriately sized AI ecosystem based on their needs, but achieving efficiency in terms of cost and operation will only be possible by applying AI to specific and limited areas. Finally, Edge AI is likely to be in a similar situation. Ultimately, large-scale processing must occur in hyperscalers. Hyperscalers are the only places capable of handling training, inference, and storing the necessary data. However, if models sufficiently trained in a hyperscaler are properly tuned and deployed to Edge AI, the very latest AI GPUs will not be necessary. Thus, a second-tier market may be essential for Sovereign AI, enterprises, and Edge AI.

In this market, the quantity of AI GPUs or the power supply will not be as crucial; instead, inference throughput will be the key. As long as the required AI inference throughput is satisfied for each entity, the number of AI GPUs will be irrelevant, and power supply will not be a major concern as it can likely be sufficiently provided by existing supply chains. Instead, the focus will be on whether the necessary inference throughput can be provided for the specific purpose, and at this point, it will transition into a service concept.

You are familiar with SaaS (Software as a Service). AI deployment in the second-tier market will proceed using a similar service model. If companies providing AI infrastructure can enter into SLA (Service Level Agreement) contracts based on inference throughput and satisfy the needs for decentralization and specialization, AI will be recognized as a new essential utility, similar to water, electricity, and telecommunications. If the industry reaches this stage, the AI GPU market will maintain a steady demand for continuous replacement, but the bottleneck caused by the current supply shortage is not expected to occur.

For the time being, as the industry is in its early stages, we must observe the larger trends.