온디바이스 AI

On-Device AI.

말 그대로 기기에 탑재(On-Device)된 AI.

 

기존의 AI는 클라우드 서버에서 데이터를 수집하고 학습한 후, 결과를 기기에 전송하는 방식으로 이루어졌다. 하지만 이러한 방식은 데이터 수집과 전송에 시간이 소요될 뿐만 아니라, 인터넷 연결이 불가능한 환경에서는 사용할 수 없다는 단점이 존재한다.

 

온 디바이스 AI는 이러한 단점을 보완하기 위해 기기 자체에 AI 연산을 할 수 있는 칩을 내장함으로써 통신 연결 없이도 기기가 스스로 가벼운 AI 학습과 연산을 수행하는 것이 가능해진다.

 

1. 장점

(1)저지연

클라우드 서버를 거치지 않기 때문에 데이터 수집과 전송에 소요되는 시간이 짧아져 저지연을 실현할 수 있다.

(2)개인정보 보호

클라우드 서버에 데이터를 전송하지 않기 때문에 개인정보를 보호할 수 있다.

(3)안정성

인터넷 연결이 불가능한 환경에서도 사용할 수 있어 안정성을 높일 수 있다.

 

2. 활용

(1)스마트폰

얼굴 인식, 이미지 인식, 음성 인식, 위치 인식 등.

a.픽셀8

b.갤럭시 S24

(2)웨어러블 디바이스

심박수 측정, 운동량 측정, 수면 추적 등 건강 관리 기능.

(3)IoT 기기

가전제품, 보안 카메라, 자동차 등.

3. 주요 기술

(1)신경망 가속기

AI 연산을 효율적으로 수행하기 위한 하드웨어.

(2)컴파일러

AI 모델을 기기에 최적화된 형태로 변환하는 소프트웨어.

(3)데이터 압축

AI 학습에 필요한 데이터를 효율적으로 저장하기 위한 기술.

 

AI 기능 탑재는 스마트폰뿐 아니라 PC, 가전, 자동차, 보안, 헬스케어 등 실생활의 다양한 분야로 확산되며 온디바이스 AI가 팽창기에 진입할 것이다

[2024 신년기획] 국내 10대 뉴스-온디바이스 AI 상용화

서울 용산구 전자랜드 삼성전자 매장에서 소비자가 삼성 사물인터넷(IoT) 플랫폼 스마트싱스로 연동되는 가전을 살펴보고 있다.

 

네트워크 연결 없이도 인공지능(AI) 서비스를 이용할 수 있는 시대가 열린다. 온디바이스 AI는 기기 자체에서 AI를 사용하는 개념이다.

삼성전자·LG전자는 온디바이스 AI 환경을 지원하는 반도체 칩을 스마트폰·가전제품 등에 탑재한다. 양사는 새해에 온디바이스 AI 등을 적용, 가전이 알아서 기능을 구현하는 한 차원 진보된 가전 시대를 열겠다고 선언했다. 새해 1월 공개될 삼성 신형 플래그십 스마트폰 갤럭시S24 시리즈가 대표적이다.

가정에서뿐만 아니라 이동 중에도 인터넷 연결 없이 생성형 AI 등 AI 서비스를 이용할 수 있게 된 것이다. 온디바이스 AI는 빠른 학습과 실시간 대응에 장점이 있으며 개인이 소유한 디바이스에만 데이터가 저장·공유돼 개인정보 보호 측면에서도 뛰어난 것으로 평가된다.

온디바이스 AI 실현 핵심은 반도체 칩이다. 퀄컴이 온디바이스 AI를 구현하는 최신 애플리케이션 프로세서(AP) '스냅드래곤 8 3세대'를 양산 중이며 삼성전자 신형 AP '엑시노스2400'도 온디바이스 AI를 지원한다. AI반도체 기업 사피온도 상반기 공개할 엣지 디바이스용 AI반도체 'X350'(가칭)에 온디바이스 AI 기능을 탑재할 예정이다.

온디바이스 AI를 지원하는 2024년형 LG전자 그램 프로. LG전자 제공

[2024 신년기획] 국내 10대 뉴스-온디바이스 AI 상용화 - 전자신문 (etnews.com)

[2024 신년기획] 국내 10대 뉴스-온디바이스 AI 상용화

[2024 신년기획]삼성전자, '가우스'로 업무혁신·온디바이스 AI 미래 개척

2024년은 삼성전자의 생성형 인공지능(AI) '가우스'가 본격 활약하는 해가 될 전망이다.

가우스는 삼성전자가 자체 개발한 생성형 AI로 지난해 11월 처음 선보였다. 일반 소비자 대상으로는 새해 1월 17일 미국 캘리포니아 산호세에서 열리는 '갤럭시 S24' 언팩 행사에서 온디바이스 AI 형태로 소개된다.

삼성전자 내부 업무 지원을 위해 머신 러닝 기술을 기반으로 개발한 것으로 △텍스트를 생성하는 언어 모델 △코드를 생성하는 코드 모델 △이미지를 생성하는 이미지 모델 등 3가지로 구성됐다.

<김대현 삼성전자 부사장이 지난해 11월 '삼성 AI 포럼'에서 가우스를 발표하고 있다.>

 

삼성전자는 지난해 12월 중순부터 사내 DX부문을 시작으로 단계적으로 가우스를 적용하고 있다. 기존 업무의 효율성 제고와 혁신을 위한 것으로 단순문서나 보고서 작성 등 AI 비서 형태부터 코딩 자동 완성 등 개발 분야에까지 광범위하게 활용될 전망이다.

삼성전자 직원들이 가우스를 가장 적극적으로 활용하는 주요 사내 업무는 이메일과 문서 요약, 번역, 코딩 지원 등이다. 가우스는 실제 업무 적용을 위해 직원들과 소통하며 주어진 과제를 자연스럽게 수행할 수 있도록 만들어졌다.

언어모델은 이메일을 국문과 영문으로 자동 생성한다. 간단한 정보만 입력해도 유려한 문장의 이메일을 완성하고 스타일을 변경해 문장 자체를 변환시킬 수도 있다. 긴 본문을 3문장으로 간단하게 요약하고, 메일을 다른 언어로 번역하는 데도 사용할 수 있다.

삼성전자는 가우스 활용을 통합 업무 혁신과 함께 사내 보안도 강화될 것으로 기대하고 있다. 삼성전자가 자체 생성형 AI 개발에 나선 배경에도 챗GPT 등 직원들의 외부 생성형 AI 활용으로 사내 정보보안 이슈가 커졌던 이유가 있다. 실제로 지난해 초 삼성전자는 사내 PC를 통한 챗GPT 등 생성형 AI 이용을 제한했다. 사내 메일 업로드, 소스 코드 전체 입력 등 오남용 사례가 발견되면서 내부 보안 정책을 강화한 것이다.

코드 모델도 SW 개발 보안에 상당한 역할을 하고 있다. SW 개발 속도와 효율성을 높이는 것과 동시에 삼성 내부 코드의 유출 가능성을 차단할 수 있다. SW 개발 지원을 위한 코드 생성형 도구는 많지만 외부 도구는 내부 데이터 유출 가능성으로 사용하기 어려운 점이 있다. 또한 삼성 제품 코드에 대한 정보가 부족한 점도 문제다.

코드 모델은 '코드i(code i)'라 불리는 어시스턴트를 통해 사용할 수 있다. 개발자들이 자연어로 표현한 것을 가우스가 자동으로 코딩으로 전환한다. 개발자들은 자율주행차를 운행하듯이 AI와 공동으로 코드를 작성할 수 있다. 별도 챗 모드에서는 가우스와 대화하면 코드를 만들 수 있고, 작성한 코드에 대한 설명과 테스트케이스 생성을 명령할 수 있다.

삼성전자는 SW 개발자들의 코드 작업에 있어 'S-Ray(Software X-Ray)'라는 또 다른 자체 검증 프로그램도 운영한다. S-Ray는 가우스와 별개의 사내 시스템으로 AI를 통해 자동 생성된 코드의 오류를 잡아낸다. SW 구성요소를 자동 파악해 취약·악성 패키지를 실시간 모니터링하고 필요시 개발자에게 경고한다.

 

이주형 삼성전자 상무가 지난해 11월 삼성 개발자 콘퍼런스 코리아 2023(SDC23 KOREA)에서 가우스를 소개하고 있다

 

이미지 모델은 사진이나 그림 등 창의적인 이미지를 손쉽게 만들고 기존 이미지를 원하는 대로 바꿀 수 있도록 도와준다. 저해상도 이미지의 고해상도 전환도 가능하다.

이미지 모델은 라이선스와 개인정보를 침해하지 않는 안전한 데이터로 학습했다.

이미지 모델은 갤럭시, 비스포크 등 삼성전자 스마트폰과 가전제품 라인에 온디바이스 형태로 적용된다. 서버나 클라우드에 정보를 공유하지 않는 만큼 개인정보 전송 없이 다양한 AI 기능을 이용할 수 있다.

 

삼성전자는 새해부터 가우스를 전사 업무에 적용한다. 이어 17일 공개되는 갤럭시 S23을 시작으로 온디바이스 AI의 모습으로 대중에 모습을 드러낸다.

 

[2024 신년기획]삼성전자, '가우스'로 업무혁신·온디바이스 AI 미래 개척 - 전자신문 (etnews.com)

[2024 신년기획]삼성전자, '가우스'로 업무혁신·온디바이스 AI 미래 개척

 

■온디바이스 AI 대장주 주목
최근 증시 주도 테마로 떠오른 온디바이스 AI 관련주들의 동반 상승세가 삼성전자의 주가를 끌어올리고 있다는 해석도 나온다.

삼성전자는 내년 1월 17일 미국 캘리포니아에서 AI 기능을 탑재한 갤럭시 S24를 조기 공개하고 1월 30일부터 글로벌 판매를 시작할 것으로 예상된다. 이번 갤럭시 S24의 가장 큰 변화는 생성형 AI가 처음으로 탑재된 온디바이스 AI라는 점이다. 실시간 통화 통역, 이메일 요약 등이 가능할 것으로 추정돼 투자업계의 관심을 끌고 있다.

미국 컬럼비아대학교와 AI를 공동 개발 중인 애플도 내년 9월 아이폰16에 생성형 AI를 탑재할 것으로 추정된다. 내년부터 AI 스마트폰이 침체된 글로벌 모바일시장에서 신규 수요를 창출할 것으로 기대되는 이유다.

KB증권은 2027년까지 연평균 AI 스마트폰 출하 성장률이 83%로 글로벌 스마트폰시장 성장률 3.3%를 25배 상회할 것이라고 이날 보고서를 통해 밝혔다. 2027년 AI 스마트폰 출하량은 5억2000만대로 2023년 4600만대 대비 11배 늘고 2027년 AI 스마트폰 보급률도 40%에 달해 2023년 4% 대비 10배 증가할 것으로 추정된다.

KB증권 김동원 연구원은 "AI 기능 탑재는 스마트폰뿐 아니라 PC, 가전, 자동차, 보안, 헬스케어 등 실생활의 다양한 분야로 확산되며 온디바이스 AI가 팽창기에 진입할 것"이라고 전망했다.이어 "이 같은 성장은 삼성전자, SK하이닉스 등 메모리 반도체 수요 증가와 더불어 AI 칩 관련 팹리스 및 디자인하우스 업체들의 생태계 확장으로 이어질 것"이라고 말했다.