온디바이스(On-device) AI

온디바이스(On-device) AI는 외부 클라우드 서버를 거치지 않고 스마트폰, PC, 자동차 등 기기 자체에서 데이터를 직접 처리하는 AI 기술을 의미합니다.

브런치

주요 특징

저지연성: 서버와 데이터를 주고받는 과정이 없어 응답 속도가 매우 빠릅니다.

보안성: 개인 데이터가 외부로 전송되지 않아 프라이버시 보호에 유리합니다.

오프라인 작동: 인터넷 연결이 없는 환경에서도 AI 기능을 사용할 수 있습니다.

비용 절감: 대규모 서버 운영비와 클라우드 사용료를 줄일 수 있습니다.

​

2026년 현재 동향 및 활용 예시

2026년 현재 온디바이스 AI는 신경망처리장치(NPU)의 성능 향상으로 더욱 고도화되었습니다.

​

스마트폰: 실시간 통번역, 사진 및 영상 편집, 개인화된 비서 기능이 기본 탑재되어 있습니다.

PC: 'AI PC'가 보편화되어 문서 요약, 코드 생성 등을 로컬 환경에서 처리합니다.

모빌리티: 자율주행 자동차의 장애물 인식 및 판단 속도가 극대화되었습니다.

가전: 사용자 패턴을 스스로 학습하는 AI 세탁기, 에어컨 등이 출시되고 있습니다.

​

“온디바이스 AI 반도체로 데이터센터 부담↓”

​

공공 영역이 온디바이스 AI 수요처 역할 해야

​

온디바이스 AI(인공지능) 반도체가 자원이 부족한 한국에서 ‘소버린 AI(독립적인 AI 역량)’를 달성하는 방법이 될 수 있다는 제언이 나왔다.

​

AI 반도체 기업 딥엑스(DeepX)의 김정욱 부사장은 5일 국회 의원회관 제1세미나실에서 열린 ‘G3 도약을 위한 AI 산업 경쟁력 강화 전략’ 토론회에 참여해 반도체를 중심으로 AI 산업 경쟁력 강화 방안을 살폈다.

SKT Enterprise

김 부사장은 “딥엑스가 바라는 세상은 모든 사람이 과금은 줄이고 AI 혜택은 더 쉽게 누릴 수 있는 세상”이라고 비전을 밝혔다.

​

이어진 설명에 따르면, 현재는 데이터를 클라우드 서버로 보내야만 처리가 가능하다. 그러나 온디바이스 AI 기술을 활용하면 스마트폰과 같이 서버 대비 저전력·저비용으로 구동 가능한 장비를 통해, 일상적인 답변이나 가벼운 연산을 처리할 수 있다는 것이다.

​

그는 “요즘 스마트폰의 연산 능력이 PC보다 좋은 경우가 많다”라며 “클라우드·PC 사용 없이 스마트폰으로 대부분 처리가 가능한 세상을 만들겠다는 것”이라고 해설했다.

​

김정욱 부사장은 “국가 차원의 AI 인프라 구축에는 상당한 양의 GPU와 데이터센터 운영을 위한 많은 전력이 필요하다”라며 “온디바이스 AI 반도체 경쟁력 및 컴퓨팅 역량 강화를 통해 데이터센터 부하를 줄여 데이터센터를 추가한 것과 유사한 효과를 기대할 수 있다”라고 강조했다.

​

그러면서 “한국처럼 자원 제약적인 나라에서 소버린 AI를 달성하는 솔루션이 될 것”이라고 덧붙였다.

​

정부에 요청할 사항이 있느냐는 질문에는 “업계의 명성이 높은 큰 회사와 협력하기 위한 신뢰를 얻는 데 어려움이 있다”라며 “정부에서 공공 AI 인프라 구축 사업처럼 활용 사례를 만들어주면 사업 추진에 긍정적인 영향이 되지 않을까 생각한다”라고 답했다.

https://kidd.co.kr/news/244536

​