정부 AI 예산 10조원, 인프라 경쟁이 산업의 중심으로
과학기술정보통신부와 국가인공지능전략위원회가 지난 2월 확정한 인공지능 기본계획(2026~2028)을 통해 2030년까지 국산 연산자원을 포함한 그래픽처리장치(GPU) 5만장 이상을 단계적으로 확보하겠다는 목표를 제시하면서, 2026년 3월 현재 한국 IT 업계의 화두는 생성형 AI 서비스 경쟁에서 반도체와 데이터센터, 전력망까지 아우르는 인프라 경쟁으로 옮겨가고 있다. 정부는 올해 AI 관련 예산으로 약 9조9000억원 규모를 편성해 GPU 인프라 확충과 독자 AI 파운데이션 모델 개발, 산업·공공 부문 AI 전환(AX)을 동시에 추진한다는 방침이다. 한때 시장의 관심은 어떤 챗봇이 더 똑똑한지, 어떤 검색 서비스가 더 자연스럽게 답변하는지에 쏠려 있었다. 그러나 산업 현장의 판단은 이미 한 단계 앞으로 이동했다. 이제 승부는 모델 이름이 아니라, 누가 더 안정적으로 연산 자원을 확보하고, 누가 더 빠르게 기업 고객의 업무에 AI를 실제로 심어 넣으며, 누가 더 낮은 비용 구조를 만들 수 있는지에서 갈리고 있다.
이 변화는 한국 시장에서도 분명하게 나타난다. 네이버, 카카오, LG AI연구원, 삼성SDS, KT, SK텔레콤 같은 주요 기업들은 모두 생성형 AI를 핵심 성장 축으로 내세우고 있지만, 그 전략의 본질은 단순한 앱 출시가 아니다. 자체 거대언어모델 개발, 기업용 AI 플랫폼 구축, 클라우드 인프라 확장, 반도체 및 메모리 생태계 연계, 보안과 규제 대응이 한 덩어리로 움직이고 있다. AI가 하나의 소프트웨어 기능이 아니라 국가 산업 기반으로 취급되기 시작했다는 뜻이다.
HBM 증설 경쟁, 삼성전자와 SK하이닉스가 쥔 카드
이 흐름의 중심에는 고대역폭메모리(HBM)가 있다. 삼성전자는 지난해 12월 30일 2026년 HBM 생산능력을 기존 대비 50%가량 확대하겠다고 밝혔다. 경기 평택캠퍼스 P4 라인 증설을 통해 월 17만장 수준이던 웨이퍼 기준 HBM 생산능력을 연말까지 월 25만장대로 끌어올린다는 계획이며, 공급 병목에 대비해 극자외선(EUV) 노광 장비 확보에 12조원을 선제적으로 투입하기로 했다. 투자의 초점은 차세대 제품인 HBM4에 맞춰져 있고, 주요 고객사인 엔비디아향 공급 확대가 핵심 목표로 꼽힌다. SK하이닉스 역시 그동안 엔비디아에 HBM을 사실상 독점 공급해 온 강점을 바탕으로 생산라인 가동을 늘리며 대응하고 있다. SK하이닉스는 자체 시장 전망을 통해 HBM이 이끄는 메모리 슈퍼사이클이 이어질 것으로 내다보고 있다.
한국 IT 업계가 이 흐름을 주목하는 이유는 분명하다. AI 서비스 기업이 아무리 뛰어난 모델을 개발해도, 이를 실제 시장에 공급하려면 결국 서버와 가속기, 메모리, 네트워크가 필요하다. 다시 말해 AI의 수익성은 모델 성능만이 아니라 인프라 비용 구조에 달려 있고, 그 비용 구조의 중요한 축이 메모리다. HBM 공급 우위를 가진 한국은 단순한 수혜자가 아니라, 글로벌 AI 공급망의 핵심 축으로 자리 잡을 가능성이 크다. 다만 메모리 경쟁력과 AI 플랫폼 경쟁력은 별개의 문제다. 엔비디아 중심의 가속기 생태계, 미국 빅테크의 클라우드 지배력, 오픈소스 모델의 빠른 확산은 한국 기업에 기회이자 압박으로 작용한다. 메모리와 패키징, 서버, 네트워크, 클라우드, 애플리케이션까지 이어지는 가치사슬을 국내 기업들이 얼마나 촘촘하게 구축할 수 있느냐가 향후 몇 년의 승부처가 될 것으로 업계는 보고 있다.
주권형 AI가 산업 정책의 중심으로 떠오른 배경
최근 한국 IT 업계와 정부 정책에서 반복적으로 등장하는 표현이 이른바 주권형 AI다. 이는 단순한 구호가 아니라 인공지능 기본계획(2026~2028)에 담긴 구체적 방향이기도 하다. 기업과 공공기관이 AI를 본격 도입할수록 데이터가 어디에 저장되는지, 어떤 모델이 학습했는지, 결과의 책임을 누가 지는지, 해외 클라우드 의존도가 얼마나 되는지가 핵심 경영 이슈로 떠올랐다. 특히 금융, 공공, 의료, 제조처럼 민감한 데이터를 다루는 영역일수록 이 문제는 더 복잡하고 현실적이다.
한국 기업들이 자체 모델 개발이나 국내 클라우드 연계 전략을 포기하지 않는 이유도 여기에 있다. 글로벌 모델은 성능이 빠르게 진화하고 있지만, 업무 적용 단계에서는 언어 특화, 산업별 데이터 연동, 보안 통제, 내부 시스템 통합이 훨씬 중요하다. 한국어 맥락 이해, 기업 문서 요약, 고객 상담 자동화, 법률·금융 문서 처리처럼 현장성이 강한 영역에서는 단순한 범용 모델보다 맞춤형 접근이 더 높은 효율을 낼 수 있다. 생성형 AI가 기업의 의사결정 보조 도구로 들어오면 환각 현상과 저작권 이슈, 개인정보 처리, 결과물 검증 체계가 모두 경영 리스크로 떠오르기 때문에, 기업들은 가장 똑똑한 AI보다 가장 통제 가능한 AI를 찾기 시작했다는 것이 업계의 공통된 진단이다.
데이터센터 전력·냉각 병목, AI 붐의 숨은 과제
AI 시대의 병목은 눈에 잘 보이지 않는 곳에 있다. 바로 데이터센터 전력과 냉각이다. 엔비디아 H100·H200급 최신 그래픽처리장치 기반 AI 가속 컴퓨팅이 확산되면서 랙(rack)당 전력밀도는 기존 5~15킬로와트(kW) 수준에서 50~130킬로와트 수준으로 급증했다는 것이 업계의 진단이다. 기존 공랭식 냉각 방식으로는 이런 밀도에서 열 효율과 신뢰성을 유지하기 어려워 직접 액체냉각(DLC)과 하이브리드 냉각 시스템 도입이 필수 과제로 떠올랐다. 정부도 이 문제의 심각성을 인식하고 2029년까지 AI 데이터센터에 550조원 규모의 투자를 지원한다는 계획을 세웠고, 투자세액공제 확대와 전력계통영향평가 신속 처리 등의 지원책도 함께 검토되고 있다.
한국 기업들이 이 문제를 심각하게 보는 이유는 분명하다. 데이터센터 구축 속도가 늦어지거나 전력 비용 부담이 급증하면, 결국 기업은 해외 클라우드 의존도를 더 높일 수밖에 없다. 이는 비용 문제를 넘어 데이터 주권과 산업 경쟁력 문제로 이어진다. 반대로 데이터센터를 무작정 늘리기만 해도 해답은 아니다. 지역 갈등, 전력망 부담, 환경 규제, 수익성 악화가 뒤따를 수 있기 때문이다. 향후 한국 IT 정책과 기업 전략은 AI 인프라를 반도체와 서버, 데이터센터, 전력, 냉각, 클라우드가 이어진 하나의 체인으로 다뤄야 한다는 지적이 나온다.
B2B 시장과 스타트업 생태계, 향후 전망
대중의 시선은 여전히 검색, 메신저, 오피스, 스마트폰 같은 소비자용(B2C) 서비스에 쏠려 있지만, 한국 IT 업계가 실제로 더 주목하는 전장은 기업용(B2B) 시장이다. 생성형 AI가 수익을 내기 가장 쉬운 곳은 소비자용 무료 서비스가 아니라, 기업의 비용을 줄이고 생산성을 높이는 영역이기 때문이다. 고객센터 자동화, 문서 작성 보조, 코드 생성, 내부 지식 검색, 회의록 요약, 품질 검사, 산업 안전 모니터링 등은 이미 돈을 지불할 고객이 있는 시장이다. 특히 제조업 기반이 강한 한국에서는 설비 예지보전, 생산계획 최적화, 비전 검사, 공급망 수요 예측처럼 산업 현장형 AI가 소비자용 챗봇보다 더 큰 부가가치를 만들 것이라는 전망이 나온다.
AI 붐은 스타트업 생태계에도 기회를 만들고 있다. 오픈소스 모델과 API 생태계, 클라우드 기반 개발 도구가 확산되면서 소규모 팀도 빠르게 제품을 만들 수 있게 됐지만, 동시에 양극화도 심해지고 있다. 모델 자체를 처음부터 개발하려면 막대한 자본이 필요한 반면, API 기반 응용 서비스는 진입 장벽이 낮은 만큼 경쟁이 빠르게 과열되고 있다. 결국 한국 IT 산업의 다음 승부는 단일 서비스의 흥행이 아니라, 반도체 경쟁력과 클라우드 인프라, 산업 현장형 AI, 규제 대응, 전력 정책을 하나로 묶는 종합전이 될 가능성이 크다. 이 경쟁에서 앞서는 기업은 AI를 단순히 도입한 기업이 아니라, AI를 비용 구조와 조직 문화, 제품 경쟁력, 고객 신뢰 속에 실제로 정착시킨 기업일 것으로 업계는 내다보고 있다.
