한국저작권위원회

I. 온디바이스 AI 개념

O (정의) 클라우드로 데이터를 전송하는 방식에서 벗어나 인터넷 연결 없이, 기기 내부에서 자체적으로 AI 연산을 처리하는 방식

O (특징) 빠른 서비스 제공, 강화된 정보 보안, 에너지 소모 절감 등 클라우드 컴퓨팅 단점 보완 

O (성장요인) 딥러닝 기술 발전, 반도체 성능 향상, 저전력 AI 기술 개발, 고성능 AI 칩셋 개발(모바일) 등

O (장점) 개인 데이터 보호 및 보안, AI 성능 향상, 최적화된 개인화, 사용 비용 절감, 환경 및 지속가능성(ESG)

O (한계) 복잡한 AI 모델 실행 처리 능력 한계, 대용량 데이터나 복잡한 AI 모델의 기기 내 저장 시 메모리(공간) 제약, 하드웨어 제한에 따른 기능 제한

II. 온디바이스 AI 발전 과정

O (배경) 1980년대 인터넷의 대중화, 2007년 모바일 시대 서막, 2022년 ChatGPT 등장에 따른 생성형 AI 확산, 2024년 AI 경험의 대중화, 온디바이스 AI 개화

O (AI 기술 트렌드 변화) 사물인터넷(IoT)의 발달과 폭발적인 데이터양 증가에 따른 데이터 처리 해소 방안이 필요해짐 

O (AI 서비스 종류) 클라우드 기반 AI, 엣지 AI, 온디바이스 AI 

III. 온디바이스 AI 관련 기술

O (하드웨어 분야) 인공지능 네트워크 연산에 최적화된 하드웨어와 뉴로모픽 기술 활용한 하드웨어 기술 등 연구개발

O (소프트웨어 분야) 온디바이스 환경 전용의 경량화된 AI 모델 및 추론 기술 개발, 기존 AI 모델의 경량화 기술 등 연구개발 

IV. 온디바이스 AI 학습

O (정의) 학습 데이터를 중앙의 데이터 센터로 모아서 클라우드상에서 AI모델을 학습시키는 기존 방식과는 달리, 학습 데이터를 기기에 저장하고 AI 모델 학습을 기기 자체에서 수행하도록 한 새로운 머신러닝 방법

O (장점) 개인정보보호, 저지연성, 안정성 및 네트워크 트래픽 사용 효율성, 지속적인 모델 업데이트를 통해 높은 모델 성능 유지 가능

O (단점) 사용자 디바이스의 컴퓨팅 리소스 제한으로 복잡한 모델을 로컬에서 실행하는데 어려울 수 있으며, 단일 기기에서 사용자가 생성한 데이터로만 구성된 데이터셋을 사용하는 문제, 장치 내 학습에 배포할 수 있는 모델의 복잡성, 효율성 및 크기 제한적 

O (과정) ▲ (클라우드 서버) ① 크고 일반적인 데이터셋을 이용하여 모델을 학습하여, ② 온디바이스 기기로 모델을 배포, ▲ (온디바이스 기기) ① 사전 훈련된 모델을 원하는 작업으로 특화하여 더 작고 더 전문화된 데이터셋에서 미세 조정, ② 모델 검증, ③ 모델 업데이트

O (모델 최적화 기술) ① 가지치기(Pruning), ② 양자화(Quantization), ③지식 증류(Knowledge Distillation)

(1) 연합 학습(Federated Learning) 

   - (정의) 분산 시스템에서 사용되는 머신러닝 방법으로 여러 기기가 클라이언트에서 데이터를 수집하고 로컬에서 모  델을 학습시킨 후 중앙 서버로 업로드하여 전체적인 모델을 개선하는 방법

    - (학습 유형) 중앙 집중형 연합 학습(Centralized Federated Learning), 분산형 연합 학습 (Decentralized Federated Learning), 이종 연합 학습(Heterogeneous Federated Learning)

   ※ 모바일 기기, IoT 기기 등 일종 클라이언트가 다수 포함됨

(2) 퓨삿 러닝(Few-shot Learning)

  - (정의) 훈련 데이터(train data)의 수가 매우 제한적인 상황에서 모델을 개발하려는 기술 혹은 알고리즘

  - (배경) 소량의 데이터(few-shot)만으로 학습해도 좋은 성능을 내는 모델을 만들고자 함

  - (학습 유형) 메타 학습(Meta learning), 전이 학습(Transfer learining)

V. 활용 분야

O (실시간 통․번역 서비스) 통화 내용을 실시간으로 통역해 음성과 문자로 전달하는 ‘실시간 통역 통화(AI Live Translate Call)’ 서비스 

O (CCTV) 클라우드와 연동하지 않고도 CCTV 등에서 촬영된 영상 및 이미지 데이터를 디바이스에서 실시간으로 분석해 자연재해·교통사고·폭행사고 등의 돌발 상황을 감지 

O (자율비행 드론) 다양한 환경에서 비행하며 인터넷 연결이 불가능한 상황 등에서 다양하게 활용이 가능, ▲자율비행 및 네비게이션, ▲인지 기능 강화, ▲데이터 수집․분석 등

O (IPTV․셋톱박스) IPTV 이용자에게 편리함을 제공하기 위해 AI를 탑재한 ‘온디바이스 AI’ 셋톱박스 출시, 기기 내에서 AI가 연산을 처리해 통신 지연이 없어 빠르고, 보안성이 높음

O (모빌리티) 독일의 완성차 3사(폭스바겐, 벤츠, BMW)는 챗GPT를 활용한 IDA 음성비서가 탑재된 차량 등을 선보임, 인텔은 차량에서 인공지능(AI) PC 기능을 구동할 수 있는 전용 칩을 발표하고 ‘온디바이스 AI’를 차량에 적용하겠다고 함

VI. 산업 현황

O 퀄컴, 애플, 구글, 삼성전자, 하이퍼커넥트, 인텔리콘연구소, 노타, 업스테이지

VII. 시장 동향 

O (온디바이스 AI 시장 규모) 시장분석기관 GMI는 글로벌 온디바이스 AI 시장 규모가 2022년 50억 달러에서 연평균 20%씩 성장해 2032년에는 700억 달러(약 87조원) 규모가 될 것으로 예측

O (자동차용 인공지능 시장 규모) 더 비즈니스 리서치 컴퍼니에 따르면, 자동차용 AI 시장 규모는 2023년 27억2000만 달러(3조5357억2800만 원)에서 2024년 38억2000만 달러(4조9656억1800만 원)로 연평균 40.3%의 성장률을 보일 것으로 전망, 2025년에는 약 270억달러(35조865억 원) 규모가 될 것이라 예상

O (AI 반도체 산업) 글로벌 AI 반도체 시장 규모는 2020년 약 135억불 (20조 4,300억 원)에서 2024년 약 428억불(57조 1,600억 원)로 성장 예측, 시장조사업체 가트너는 2027년 AI 반도체 시장이 1,194억 불(155조 원)로 성장할 것으로 예측

VIII. 정책 동향 

 O (국내) ‘온디바이스 AI’ 시장 선점을 위한 정책 마련에 속도