확인된 사실과 수치, 편집팀의 해석, 앞으로 확인할 조건을 나눠 읽고 원문 출처의 날짜를 함께 확인하세요.
AI 추론 시장: 에이전틱 AI가 NPU·HBM·낸드 수요를 키우는 구조
AI 추론 시장은 학습을 마친 모델이 실제 요청에 답하고 도구를 실행하는 운영 구간입니다. 2026년 9월 10일 SFS 2026의 리벨리온 CFO 발표에서 주목한 점은 에이전틱 AI가 질문을 여러 작업으로 나누며 연산과 기억할 맥락을 함께 늘린다는 변화입니다.
- AI의 중심이 모델 학습에서 서비스를 매일 구동하는 추론으로 넓어지고 있습니다.
- 에이전트·피지컬 AI·멀티모달은 연산과 메모리 용량·대역폭을 함께 요구합니다.
- HBM·DRAM은 실행 중인 데이터를, 낸드·SSD는 장기 맥락과 자료 저장을 맡습니다.
AI 추론 시장: 질문 한 번에서 작업 여러 번으로
학습은 데이터로 모델의 가중치를 만들고, 추론은 완성된 모델이 입력에 결과를 내는 과정입니다. 챗봇은 한 번에 답할 수 있지만 에이전트는 계획, 검색, 실행, 검증 과정에서 모델을 반복 호출합니다.
추론 수요를 키우는 세 가지 흐름
| 흐름 | 무엇이 달라지나 | 인프라 요구 |
|---|---|---|
| 에이전틱 AI | 질문이 연속 작업으로 바뀜 | 상태 저장·반복 추론·도구 연결 |
| 피지컬 AI | 로봇·자율 시스템이 현실에서 판단 | 낮은 지연, 안정성, 엣지 연산 |
| 멀티모달 | 텍스트·음성·영상 정보를 함께 처리 | 더 큰 데이터 이동과 메모리 대역폭 |
사람이 쉬는 동안에도 검증을 이어갈 수 있지만 비용·권한·오류 감시 때문에 추론이 무제한 늘어나는 것은 아닙니다.
HBM·DRAM·낸드가 함께 거론되는 이유
추론 중에는 모델 가중치와 KV 캐시를 빠르게 읽고 써야 하므로 HBM과 서버 DRAM의 용량·대역폭이 중요합니다. 긴 대화와 동시 사용자는 메모리 압력을 키울 수 있습니다.
기업 문서와 작업 기록은 낸드 기반 SSD에 저장됩니다. ‘Task Agent Memory’는 이전 단계와 결과를 재사용하는 구조이며, 낸드 판매량과 일대일로 연결되지는 않습니다.
AI 추론 시장은 성능보다 작업당 비용을 묻는다
추론 단계를 늘리면 성능 가능성과 함께 토큰, 전력, 대기시간, 감시 비용도 커집니다. 같은 결과를 더 적은 호출로 만드는 양자화, 캐시 재사용과 전용 가속기가 중요합니다.
‘AI 속도 조절’ 발언보다 클라우드 설비투자, 서버 백로그, 유료 추론량과 요청당 원가로 실제 수요를 확인해야 합니다.
국산 NPU의 기회는 칩보다 전체 시스템에 있다
서비스가 커질수록 전력, 응답 속도, 처리량, 비용의 균형이 중요해져 NPU가 기회를 얻습니다. 그러나 컴파일러, vLLM 같은 서빙 엔진, 메모리 관리와 쿠버네티스 운영도 함께 작동해야 합니다.
최고 연산 성능보다 지원 모델과 고객 환경의 안정성을 함께 봐야 합니다.
반도체 투자자가 확인할 다섯 가지
- 수요: 시험 운영이 유료 트래픽과 반복 주문으로 바뀌는가?
- 경제성: 요청당 비용과 전력 효율이 개선되는가?
- 소프트웨어: 주요 모델과 서빙 도구를 안정적으로 지원하는가?
- 메모리: 탑재 증가가 출하량과 가격에 반영되는가?
- 수익성: 가동률, 매출총이익률, 현금흐름이 좋아지는가?
압축과 캐시 재사용은 필요한 연산과 메모리를 줄입니다. 시장 성장만으로 모든 기업의 실적이 같은 속도로 늘어난다고 가정하면 안 됩니다.
자주 묻는 질문
학습용 GPU와 추론용 NPU는 무엇이 다른가요?
GPU는 범용성이 강하고 NPU는 특정 AI 연산의 전력·비용 효율을 목표로 합니다. 선택은 모델 지원과 총운영비용에 따라 달라집니다.
에이전틱 AI가 낸드 수요를 바로 늘리나요?
기록 저장은 SSD 수요에 우호적일 수 있지만 압축, 보존 기간, 클라우드 구조가 달라 판매량 증가는 별도 확인이 필요합니다.
참고 자료 · 2026-09-15 확인
이 글은 사용자가 현장에서 기록한 발표 요점을 공식 자료와 대조해 재구성한 교육용 콘텐츠입니다. 시장 전망과 개인 의견은 사실과 구분했으며 특정 기업이나 종목의 매수·매도를 권유하지 않습니다.