인터넷 필요 없는 손안의 비서, 2024년은 ‘온디바이스AI’ 전쟁

 

인터넷 연결 없이, 비행기 안에서도 사용할 수 있는 온디바이스AI(On-Device AI) 개발 경쟁이 치열하다. 오픈AI의 챗GPT나 구글의 바드(Bard)처럼 인터넷에 연결되어 클라우드 기반으로 사용되는 인공지능(AI)과 달리 온디바이스AI는 데이터를 외부 서버로 전송하지 않고, 기기 내에서 실시간으로 처리한다. 데이터의 수가 적은 대신 개인정보 보호, 속도, 오프라인 접근성 등의 강점을 갖춰 스마트폰, 웨어러블 기기, 가정용 스마트 기기 등 다양한 분야에서 활용 가능해질 것으로 보인다.

스마트폰은 생성AI 전쟁터

이미 온디바이스AI가 탑재된 제품도 있다. 2023년 10월에 출시된 구글의 ‘픽셀 8 프로’는 생성AI가 최초로 내장된 스마트폰이다. 이 제품의 대표적인 AI 기능으로는 이미지·사운드의 합성과 제거, 맥락에 맞는 언어표현 추천 등이다. 이는 기존의 서버 기반 AI로도 가능한 기능들이지만, 클라우드를 활용하지 않고도 구현 가능해진다.

<잠깐용어> 온디바이스AI
클라우드로 데이터를 전송하는 대신, 이용자가 소유한 기기 안에서 자체적으로 AI 연산을 처리하는 방식이다. 인터넷 연결 없이 활용할 수 있고 속도가 빠르며, 개인정보 보호, 비용 측면에서 유리하다. 이외에 개인의 사진이나 데이터와 접목할 수 있는 장점이 있지만 데이터의 수가 적어 산출되는 결과물의 완성도는 부족할 수 있다.

 

한편 구글은 지난 12월 6일 오픈AI의 GPT-4에 대항하는 AI 모델 Gemini(이하 제미나이)를 공개했다. 성능과 규모에 따라 울트라, 프로, 나노의 세 가지 버전을 내놓았는데 가장 경량화 버전인 제미나이 나노(Gemini Nano)는 온디바이스AI에 활용할 수 있는 모델이다. 대략 1조~2조 개의 파라미터(Parameter)를 썼다고 알려진 초대형 모델과는 달리, 제미나이 나노 1(Gemini Nano-1)은 18억 개, 나노 2(Nano-2)는 32.5억 개의 파라미터를 쓴 가벼운 모델이다. 추후 제미나이와 같은 구글의 초대형 언어 모델도 10억~30억 개 수준의 경량화 모델을 만들어서 중저가 스마트폰에도 적용할 수 있다. 또한 안드로이드 14에 탑재된 AI코어(AICore) 시스템을 통해 개발자들이 제미나이 나노를 이용할 수 있다.

구글이 제시한 온디바이스AI 서비스는 녹음기요약(Recorder), 스마트 채팅(Smart Reply)부터 시작해 글과 그림의 활용에 집중될 것으로 예상된다.

삼성전자는 2024년 1월 17일 공개 예정인 갤럭시 S24시리즈에 자사의 AI ‘삼성 가우스(Samsung Gauss)’ 외에 다른 회사 AI 모델을 나란히 온디바이스로 내장하는 방안을 추진하는 것으로 전해졌다.

삼성전자는 지난 10월 말 3분기 실적 발표를 통해 갤럭시 S24를 온디바이스AI 기기로 개발 중이라고 시사한 이후 자체 AI인 삼성 가우스만 탑재할 것이란 관측이 우세했으나, 최근 들어 여러 AI 모델을 동시에 담아낼 수 있다는 쪽으로 무게 중심이 기우는 분위기다. 이에 따라 오픈AI의 ‘GPT-4’나 구글의 ‘제미나이’가 갤럭시 S24 시리즈에 함께 탑재될 AI 후보로 유력하게 거론되고 있다.

특히 구글이 안드로이드 운영 체제에서 삼성전자와 긴밀한 파트너라는 점을 고려하면 어떤 식으로든 제미나이의 갤럭시 탑재는 시간문제라는 관측도 나온다.

구글이 최신 스마트폰 ‘픽셀 8 프로’에 ‘제미나이 나노’를 먼저 탑재했지만, 픽셀이 세계 스마트폰 시장에서 차지하는 비중이 미미하다는 점에서 삼성전자를 경쟁 상대가 아닌 최대 협력사로 보고 손을 잡을 가능성이 크다.

구글이 공개한 &lsquo;픽셀 8 프로&rsquo;

 

구글 텐서 G3 칩을 사용하는 픽셀 8과 달리 갤럭시 S24는 퀄컴 스냅드래곤8 3세대와 삼성전자 엑시노스 2400을 장착할 것이 유력하다. 다만 스냅드래곤 8과 엑시노스 2400도 얼마든지 제미나이 나노를 구동할 수 있을 것으로 예상된다.

오픈AI와 그 최대 주주인 마이크로소프트(MS)는 아예 자체 스마트폰이 없어 삼성전자와의 협력에 별문제가 없을 전망이다. 제미나이 또는 GPT와 같은 최신 AI 모델을 추가 내장하면 갤럭시 S24 기능이 좀 더 개선될 것으로 기대된다.

이종욱 삼성증권 연구원은 “2024년의 온디바이스AI는 인프라가 깔리는 개념으로 접근하고 있으며 개발자들의 창의성이 발휘되기 시작할 시기”라며 향후 여러 기능이 개발돼 다양한 기기에 탑재될 것이라 예상했다.

스마트워치·무선이어폰·헤드셋까지 확장

삼성전자는 스마트폰 갤럭시 S24를 시작으로 스마트워치, 무선이어폰, 노트북 등 모든 갤럭시 제품에 온디바이스AI를 탑재할 계획이다. 삼성전자가 온디바이스AI를 가장 먼저 활용할 분야는 실시간 통역 서비스다. 삼성전자도 갤럭시 S24 시리즈에서 통화 내용을 실시간으로 통역해 음성과 문자로 전달하는 ‘실시간 통역 통화’ 서비스를 선보이겠다고 예고한 바 있어 이런 기능이 더욱 고도화할 가능성이 크다. 이전까지는 스마트폰에 언어를 입력하면 관련 데이터를 통신망을 통해 클라우드로 보내 번역, 다시 결과를 전송받는 방식을 거쳤다. 하지만 기기 내에 있는 온디바이스AI를 활용하면 실시간으로 통역 서비스를 사용할 수 있다. 통신망을 쓰지 않는 만큼 전송 시간을 절반 이하로 줄일 수 있고, 데이터를 전송하는 과정에서 발생할 수 있는 외부 노출을 차단해 보안성도 높일 수 있다.

이러한 통역 서비스를 가장 잘 활용할 수 있는 분야는 무선이어폰이 꼽힌다. 삼성전자는 외국인과 만나서 대화를 나눌 때 AI가 실시간으로 통역해주는 무선이어폰이 이르면 내년 하반기에 출시할 것으로 예상된다. 통화 번역에서 한 걸음 더 나아가 대면 대화의 실시간 통역이 가능한 갤럭시 버즈가 출시된다면 통·번역 시장에 일대 지각변동이 예상된다.

정보기술(IT) 업계 관계자는 “일반적으로 스마트폰을 통해 전달되는 통화음성에 비해 대면 대화를 통역하는 것이 인식도 쉽고 기술 구현도 쉽다”라면서 “향후 확장현실(XR) 헤드셋 등에 온디바이스AI가 적용되면 그 파급력은 엄청날 것”이라고 설명했다.

삼성전자는 스마트폰, 무선이어폰 등을 넘어 XR 헤드셋으로 온디바이스AI를 확대 적용할 계획이다. 통화 번역에서 실시간 대면 대화 통역, 원격화상 통역 등 온디바이스AI를 다양하게 활용해 생성형AI를 중심으로 성장한 AI 시장을 더 확장하겠다는 전략이다. 삼성전자 관계자는 “모바일에 적용되는 AI는 어떤 형태로든 우리 일상을 바꿔놓을 것이다”라며 “갤럭시 AI는 과거에 경험하지 못한 새로운 AI 경험을 제공할 것을 확신한다”라고 했다.

구글·애플·샤오미도 내년 탑재 예상

구글, 삼성전자에 이어 다수의 빅테크 기업들도 온디바이스AI 경쟁에 참전한 상태다. 대표적으로 애플은 2022년 10월 온디바이스AI 시대를 예고했다. 애플이 공개한 AI 칩 ‘M3’가 대표적이다. 애플은 M3 기반 맥북에 온디바이스AI를 탑재할 예정이다. 또 온디바이스AI 성능을 개선해 아이폰에 들어가는 AI 비서 ‘시리(Siri)’의 성능과 개인정보 보호를 강화할 방침이다. 애플은 음성인식 AI 비서 서비스 ‘시리’의 음성인식률을 높이기 위해 내년 출시되는 아이폰16 시리즈부터 마이크 성능을 대폭 개선할 계획이다. 애플은 AI 음성인식 정확도를 높이는 한편 iOS 업그레이드를 통해 AI 관련 각종 부가 기능을 제공할 예정이다.

애플은 여기에 더해 자체 초거대 언어 모델(LLM) ‘애플 GPT(가칭)’ 개발에 매진하고 있다. 애플GPT는 애플이 자체 보유한 LLM 프레임워크 ‘에이젝스(Ajax)’를 기반으로 하며, 2024년 공개될 예정이다. 다만 스티브 잡스 애플 창업자가 떠난 뒤 애플 서비스의 무게 중심이 ‘혁신’보다는 ‘안정성 및 사용자 경험 강화’로 옮겨간 만큼 애플 GPT 공개 시점이 다소 연기될 수 있다는 분석도 나온다. 팀 쿡 애플 최고경영자(CEO)는 2023년 8월 실적 발표 콘퍼런스콜에서 “우리도 AI 분야 연구를 계속하고 있다”며 생성형AI 서비스를 내년께 공개할 것이라는 의사를 내비친 바 있다.

이외에 샤오미, 화웨이 등 중국 업체들도 내년부터 모든 모바일 기기에 온디바이스AI를 탑재한다. 조정현 하나증권 연구원은 “내년부터 모바일 기기와 PC를 시작으로 웨어러블 기기, 드론, 자율주행차, 로봇 등 거의 모든 제품에 온디바이스AI가 본격적으로 탑재될 것으로 예상된다”라며 “세계 온디바이스AI 시장 규모는 지난해 50억달러(약 7조원)에서 2032년 700억달러(약 87조원)로 연평균 20% 성장이 기대된다”라고 했다.

 

왜 온디바이스AI일까?

내로라하는 기업들이 온디바이스AI를 개발하는 이유로는 가장 먼저 비용 문제가 꼽힌다. 생성형AI 모델이 복잡해질수록 추론에 필요한 인프라 비용은 급격히 증가한다. 학습과 달리 추론은 유저 수×사용 빈도의 함수다. 알파벳의 존 헤네시 회장은 “챗GPT로 인터넷을 검색하면 기존 검색 대비 쿼리당 비용이 10배까지 더 많을 수 있다”고 언급한 바 있다. 비슷한 맥락으로, 투자은행 모건스탠리의 분석에 따르면 “구글 챗봇이 수신한 모든 질문을 50단어의 답변으로 처리 시 60억달러의 비용이 증가할 수 있다”고 추정했다. 100단어 기준으로는 무려 120억달러의 추가 비용이 발생한다. 참고로, 구글의 모회사인 알파벳의 2022년 영업이익은 750억달러다.

즉, AI 모델의 추론을 전부 데이터센터에서 처리하려면 막대한 인프라 비용이 불가피한 것이다. 이를 해결하기 위해 간단한 추론은 스마트폰, PC 등 기기의 자원을 활용할 필요성이 크다. 퀄컴은 이처럼 클라우드와 기기가 AI 연산을 분산 처리하는 것을 ‘하이브리드 AI’라 부르기도 한다.

이외에도 온디바이스AI는 보안 측면에서 유리하다. 사적이거나 보안이 필요한 기밀 정보가 AI 연산 시 클라우드로 전송되어 발생할 수 있는 문제를 사전에 방지할 수 있다. 예컨대, 개인의 건강 상태나 기업의 비밀정보 등 민감한 정보를 스마트폰 내 AI가 네트워크 없이 자체 처리할 수 있다.

마지막으로 보안이 전제된다면 개인화된 AI를 활용할 수 있다는 강점도 존재한다. 디바이스 내 사용자의 개인 데이터(나이, 건강, 기호 등)나 카메라, 마이크, 자이로스코프 등 센서 데이터를 기기 내 AI 모델이 학습할 수 있다. 이렇게 되면, AI가 사용자의 요청에 더 알맞은 답을 추론하고 응답할 수 있게 된다. 즉, 클라우드에 탑재된 AI 대비 훨씬 더 개인화된 서비스가 가능해지는 것이다. 그뿐만 아니라, 기기가 자체 연산하므로 응답속도 지연에서도 상대적으로 자유로워질 수 있다.

다만 문제는 스마트폰이라는 제한된 성능과 공간이다. 예컨대 GPT-3의 파라미터는 1750억 개고, 이를 구동하려면 고도화된 여러 인프라가 필요하다. 모바일 기기의 제한된 공간에서 이를 구현하는 것이 불가능하다. 그러나 매개 변수를 줄이면서도 성능의 저하를 최소화한 AI 모델의 개발이 온디바이스AI 시대의 필수 요소라는 것이다.

고의영 하이투자증권 연구원은 “2023년 초에 공개되었던 메타(Meta)의 Llama는 GPT-3보다 현저히 작은 파라미터로도 벤치마크에서 우수한 성능을 보이기도 했다”라며 “데이터의 양자화와 메모리 기술 개발을 통해 기술의 한계를 극복하며 온디바이스AI의 속도가 빨라질 것”이라고 예상했다. 또한 그는 “안드로이드 진영인 삼성전자와 HOVX의 움직임이 빨라 보이지만 애플은 상대적으로 조용한 모습”이라며 “그런데도 애플이 자체 운영체제나 서비스에 LLM을 탑재하면 파급력이 클 수 있는 만큼 2024년 개발자 회의에 관심을 기울일 필요가 있다”라고 설명했다.

인터넷 필요 없는 손안의 비서, 2024년은 ‘온디바이스AI’ 전쟁 - 매일경제 (mk.co.kr)

인터넷 필요 없는 손안의 비서, 2024년은 ‘온디바이스AI’ 전쟁 - 매일경제

 

‘인터넷 없이 똑똑해진다’…‘온디바이스 AI’ 전쟁 시작

[앵커]

올해를 AI 상용화의 원년으로 얘기합니다.

소비자가 체감할 수 있는 AI 제품들이 대중화될 수 있을지가 중요한데 국내 업체들도 인터넷 연결 없이 사용 가능한 이른바 온디바이스 AI 제품을 연이어 출시할 예정입니다.

이민후 기자입니다.

 

[기자]

삼성전자와 LG전자가 인텔이 처음 상용화한 AI칩을 탑재한 '노트북'을 새해 벽두에 동시에 출시했습니다.

사용자의 이용빈도가 높아질수록 사용자 사용 패턴을 인식해 마이크를 끄거나 배터리를 아껴줍니다.

당장 눈에 띄는 AI 기능이 구현되지 않았지만 AI 칩을 탑재해 향후 업데이트를 통해 온디바이스 AI처럼 사용 가능할 전망입니다.

온디바이스 AI는 인터넷과 네트워크 연결 없이 기기가 사용자의 데이터를 수집, 학습해 최적화된 사용자 경험을 제공합니다.

삼성전자가 이번달 중순 공개하는 갤럭시S24는 온디바이스AI로 자사 AI 모델인 삼성 가우스를 탑재할 전망입니다.

실시간 통번역을 제공하고 음성으로 사진을 수정하는 등 AI 기능을 제공할 것으로 보입니다.

지난해 4천700만대에 달하는 온디바이스 AI폰 출하량은 오는 2027년 10배가 넘는 5억2천만대로 늘어날 전망입니다.

경쟁사인 구글은 지난달 AI를 탑재한 스마트폰을 선보였고 애플도 올해 하반기에 탑재할 계획입니다.

[이경전 / 경희대 인공지능학과 교수 : AI가 다 온디바이스 AI로 흡수될 수 있기 때문에 위험이 낮은 곳부터 이제 AI 서비스가 스며들게 될 거라고 생각을 합니다.]

올해 열리는 CES2024의 화두가 AI인 만큼 온디바이스AI를 준비하기 위한 기업들의 경쟁도 치열해지고 있습니다.

SBS Biz 이민후입니다.

‘인터넷 없이 똑똑해진다’…‘온디바이스 AI’ 전쟁 시작 (daum.net)

‘인터넷 없이 똑똑해진다’…‘온디바이스 AI’ 전쟁 시작

온디바이스 AI

On-Device AI.

말 그대로 기기에 탑재(On-Device)된 AI.

 

기존의 AI는 클라우드 서버에서 데이터를 수집하고 학습한 후, 결과를 기기에 전송하는 방식으로 이루어졌다. 하지만 이러한 방식은 데이터 수집과 전송에 시간이 소요될 뿐만 아니라, 인터넷 연결이 불가능한 환경에서는 사용할 수 없다는 단점이 존재한다.

 

온 디바이스 AI는 이러한 단점을 보완하기 위해 기기 자체에 AI 연산을 할 수 있는 칩을 내장함으로써 통신 연결 없이도 기기가 스스로 가벼운 AI 학습과 연산을 수행하는 것이 가능해진다.

 

1. 장점

(1)저지연

클라우드 서버를 거치지 않기 때문에 데이터 수집과 전송에 소요되는 시간이 짧아져 저지연을 실현할 수 있다.

(2)개인정보 보호

클라우드 서버에 데이터를 전송하지 않기 때문에 개인정보를 보호할 수 있다.

(3)안정성

인터넷 연결이 불가능한 환경에서도 사용할 수 있어 안정성을 높일 수 있다.

 

2. 활용

(1)스마트폰

얼굴 인식, 이미지 인식, 음성 인식, 위치 인식 등.

a.픽셀8

b.갤럭시 S24

(2)웨어러블 디바이스

심박수 측정, 운동량 측정, 수면 추적 등 건강 관리 기능.

(3)IoT 기기

가전제품, 보안 카메라, 자동차 등.

3. 주요 기술

(1)신경망 가속기

AI 연산을 효율적으로 수행하기 위한 하드웨어.

(2)컴파일러

AI 모델을 기기에 최적화된 형태로 변환하는 소프트웨어.

(3)데이터 압축

AI 학습에 필요한 데이터를 효율적으로 저장하기 위한 기술.

 

AI 기능 탑재는 스마트폰뿐 아니라 PC, 가전, 자동차, 보안, 헬스케어 등 실생활의 다양한 분야로 확산되며 온디바이스 AI가 팽창기에 진입할 것이다