챗GPT 근간 ‘LLM’ 시대 갔나 새로 뜨는 ‘LAM’이 뭐기에
2024-08-07 18:08:28
한 인터뷰가 인공지능(AI) 업계에 파장을 불러왔다. 주인공은 바로 세계 4대 인공지능 학자로 꼽히는 얀 르쿤 메타 AI최고과학자. 그는 5월 23일 파이낸셜타임스와의 인터뷰에서 “챗GPT와 같은 생성형 AI 제품을 구동하는 대규모 언어 모델(LLM)은 인간처럼 사고하고 계획하는 능력을 절대 갖추지 못할 것”이라고 지적했다.
LLM은 AI 대유행을 불러온 오픈AI ‘챗GPT’와 같은 생성형 AI 서비스의 근간이다. 최근 테크업계에서는 LLM의 한계론이 제기되고 있다. 생성형 AI가 인간과 유사한 포괄적인 지능으로 쉽게 통합될 수 있을지에 의구심을 표하는 관점에서다. 얀 르쿤 박사의 인터뷰가 이러한 논의에 불을 지핀 셈이다. 실제로 최근 빅테크 회사와 차세대 AI 유니콘을 중심으로 LLM의 한계를 극복하는 새로운 형태의 AI 모델 개발 또한 이뤄지고 있다.
LLM은 단어나 문장이 복잡하게 배열되어 있을 때, 문장의 구성이 통계적으로 가장 일반적으로 쓰이는 형태를 취하도록 학습된 ‘언어 모델’을 수억 개에서 수천억 개 단위로 모아놓은 구조로 설계됐다. 업계에서는 생성형 AI가 이 같은 LLM을 기반으로 학습·훈련하기 때문에 피상적이고 제한적이며, 인간처럼 추론하고 계획하는 능력을 달성하지 못할 것이라는 지적이 나오고 있다.
르쿤 박사가 LLM이 초지능으로 발전할 수 없다고 강조한 이유도 이와 일맥상통한다. 그가 지적한 LLM의 한계는 물리적 세계에 대한 이해 부족이다. 르쿤 박사는 “LLM은 논리에 대한 매우 제한된 이해를 가지고 있으며, 물리적 세계를 이해하지 못하고, 지속적인 기억을 가지지 않으며, 어떤 합리적인 정의로도 추론할 수 없고, 계층적으로 계획을 세울 수 없다”고 말했다. 인간은 관찰을 통해 공이 떨어지면 튀어 오를 것을 당연히 알지만, LLM은 이러한 단순한 것조차 알 수 없다는 설명이다. 르쿤 박사는 “이러한 모델은 올바른 훈련 데이터를 입력 받아야만 정확한 답변을 제공할 수 있기 때문에 본질적으로 안전하지 않다”고 주장했다.
LLM의 한계론이 의미가 있는 까닭은 AI 발전에 대한 기대감 때문이다. 이른바 인공일반지능(AGI)이다.
최근 테크업계에서는 LLM에 대한 대안으로 LAM(대형액션모델) 개발에 주목하는 움직임이 포착된다. LAM은 운영체제(OS)로 작동하기 위한 ‘AI 에이전트’ 상용화에 포커스를 맞추고 있다. 예컨대 영화 ‘아이언맨’ 시리즈에서 토니 스타크를 보조하는 인공지능(AI) ‘자비스’가 그 예시다. 자비스는 집 안 모든 전자 디바이스를 연결한다. 또 자비스는 자신을 만든 주인공 토니 스타크의 명령에 따라 움직이지만 스스로 판단하고 분석할 줄 아는 능력을 갖추고 있다.
머지않아 자비스처럼 우리의 명령을 수행하고 일부 영역에서는 판단까지 대신해줄 수 있는 AI가 하나의 통합된 운영체제 형태로 나타날 수 있다는 분석이다. 현재 우리가 사용하는 디바이스(데스크톱, 스마트폰, 스마트카 등)는 대부분 다른 OS 위에서 구동되고 있다. 이를 하나의 AI로 통합하면 인간이 번거롭게 디바이스를 만질 필요조차 없어진다.
이와 같은 문제의식에서 최근 기존 LLM과 차별화하는 대형액션모델(LAM)을 개발하는 회사들이 생겨나고 있다. LLM이 사용자 프롬프트를 해석하고 텍스트 기반 응답을 생성하는 데 그친다면, LAM은 AI 기능을 언어 이상으로 확장한다는 아이디어다. 인간 수준의 텍스트를 생성하고, 번역에도 능통하며, 마치 사람처럼 답변하는 기능을 탑재해 AI 열풍을 가져온 LLM의 진화 버전인 셈이다. 특히 LAM은 다양한 애플리케이션, 외부 시스템과의 통합을 통해 현실 세계와 상호작용을 목표로 한다. LAM 기술 개발에 성공한다면, LLM을 개선해 ‘AI 에이전트’ 시대를 열 수 있는 단초를 제공할 것으로 기대된다. 에이전트는 스스로 작업을 실행할 수 있는 소프트웨어 단위를 의미한다. 단순히 사람의 질문에 대답하는 대신 궁극적인 목표 달성을 돕는 개념이다. 단지 한 번에 하나씩 프롬프트에 반응하는 것이 아니라 여러 단계로 작업을 세분화하고 하위 작업을 수행할 수 있도록 설계된다.
LLM은 말 그대로 방대한 양의 데이터를 기반으로 훈련된다. LLM은 텍스트 정보 교환으로 제한된 가상 영역 내에서 운영되기 때문에 실제 세계와의 상호 작용에서 한계점을 보인다. 또한 사용자의 지시(프롬프트)를 해석하고 이를 기반으로 한 응답을 생성하는 데 탁월하다. 하지만 사람을 완전히 대체하는 ‘AI 에이전트’ 수준까지 도달하기엔 어려움이 많다는 설명이다.
반면 LAM은 다양한 애플리케이션, 실제 시스템과의 상호작용을 핵심적인 ‘해결 과제’로 삼는다. 예컨대, LLM 기반 서비스들이 사용자의 지시에 따라 이메일 초안을 작성한다면 LAM 기반 서비스들은 이메일을 누구한테 언제 전달할지까지 관리할 수 있다는 아이디어다. 쉽게 말해 LAM 기반 AI는 내 스마트폰에 접속해 인간 대신 모든 일을 해줄 수 있다. 현재 LAM의 기술적 기반은 ‘신경 기호 프로그래밍’ 혹은 ‘순환신경망(RNN)’이다. RNN은 먼저 나온 데이터를 바탕으로 뒤에 나올 정보를 추론하는 데 최적화된 AI 알고리즘을 의미한다. 단순한 모델이 아니라 AI 시스템을 컴퓨터 애플리케이션과 통합한다는 것이 기술적 목표다. 오로지 데이터에만 의존하는 기존 AI 모델과 달리 신경망, LAM은 신경 기호 프로그래밍을 결합한 하이브리드 접근 방식을 활용하여 광범위한 작업을 처리할 수 있다는 설명이다.
다만 LAM이 현재 기술적으로 어느 정도 단계에 있는지, 상용화 시점이 언제일지에 대해선 의견이 분분하다. 현재 여러 회사와 AI 과학자들이 개발에 매진하고 있는 것으로 보인다. LAM을 기존 시스템 혹은 디바이스(기기)와 통합해 응용하는 것이 우선 과제다.
LAM이 상용화 되더라도 ▲데이터 유출 위험성과 개인 정보 보호 ▲보안성에 대한 위험 ▲통합 복잡성 등의 문제를 해결해야 한다. 특히 광범위하면서도 프라이빗한 데이터를 기본적으로 요구하기 때문에 개인정보 보호 문제가 더욱 크게 대두될 수 있다는 지적이다. 이와 관련 애플은 생성형 인공지능(AI)을 적용한 첫 번째 서비스인 ‘애플 인텔리전스’를 공개하면서 보안을 특히 강조한 것이 눈길을 끈다. 애플은 보안 수준이 높은 자체 데이터센터를 직접 만들어, 이곳에서 AI 관련 데이터를 처리하겠다고 밝혔다. 애플은 이를 ‘프라이빗 클라우드 컴퓨트’라고 명명했다. 이 서버에는 애플이 직접 설계한 반도체를 사용한다. 보안이 철저한 데이터센터에서 개인정보를 관리하면 고객이 자신의 정보를 편안하게 제공할 것이고, 이 정보들을 수준 높은 ‘개인 맞춤형 AI’를 만들 토대로 삼겠다는 전략으로 풀이된다.
애플이 최근 공개한 애플 인텔리전스 방향성은 음성 AI 비서인 ‘시리’를 AI로 업그레이드한 것에 방점을 찍었다. 시리에 음성으로 명령해 애플의 주요 앱을 작동시키는 등의 기능이 우선 장착됐는데, 이를 통해 애플의 향후 AI 전략을 읽어볼 수 있다.
애플은 공식적으로 LAM이라는 용어를 쓰지는 않았지만 내부 AI 연구팀이 비슷한 연구를 지속하고 있는 것으로 파악된다. 애플이 공개한 연구논문 ‘ReALM’에서는 LAM과 유사한 이니셔티브를 통해 애플 음성비서 ‘시리’ 기능을 향상하려는 인사이트가 공개됐다. AI가 스마트폰 속 대화 내용을 이해하고, 이를 통해 화면의 시각적 콘텐츠를 처리하고, 주변 활동을 감지해 액션을 취한다는 것을 목표로 하는 연구로 주목된다. 화면상에 표시된 전화번호, URL 링크 등 다양한 유형의 참조 정보를 이해해 시리와 대화를 할 수 있게 만드는 AI 모델을 제시한 셈이다. 이를 통해 AI가 이용자가 입력하는 명령문에만 의존하는 것이 아니라, 스마트폰 화면을 분석해 사용자가 어떤 작업을 진행하고 있는지 감지하고 맥락에 맞는 행동을 취할 수 있게 된다.
가령 특정 기업에 관한 정보를 인터넷으로 찾아보다가 시리에게 “업체에 전화해”라고 말하면, 추가 질문 없이 인터넷 창에 있는 업체의 전화번호로 전화를 걸고 대화를 할 수 있다.
현재 애플은 ReALM 배포와 적용에 대해선 말을 아끼고 있다. 업계에서는 애플이 사용자(사람)와 AI(시리) 그리고 디바이스를 연결하고 상호작용하는 방식을 개선하기 위해 LAM 기술을 채택할 가능성에 주목하고 있다. 애플은 ‘시리’의 성능을 끌어올려 클릭 없이 음성 명령만으로 작업을 수행할 수 있는 핸즈 프리(Hands-Free) 스마트폰을 구현하는 것을 계획하는 것으로 보인다. 이러한 관점에서 애플이 오픈AI의 LLM인 GPT를 기반으로 작동하는 챗GPT를 계속 사용할지 또한 앞으로의 관전 포인트다.
올해 초 설립된 ‘H’는 최근 프랑스를 넘어 전 세계 테크업계에서 화제를 불러 모은 회사다. 지난 5월 시드 투자로 만 2억2000만달러를 조달했다. 기업가치는 단번에 3억7000만달러로 평가받았다. 매일경제와 만난 찰스 캔터 H 창업자 겸 최고경영자(CEO)는 “기존 LLM과 차별화하는 대형액션모델(LAM)을 개발 중”이라고 밝혔다. 캔터 CEO는 “LLM은 현재 매우 강력하지만 진실성은 여전히 문제로 남아있고, 문맥에서 벗어나는 등 작업에 대한 일반화도 해결해야 한다”면서 “우리는 더 스마트한 시스템, 새로운 혁신이 필요하다”고 강조했다.
스탠퍼드대 연구원 출신인 캔터 CEO는 구글 딥마인드 출신 과학자 네 명과 함께 회사를 창업했다. 특히 창업자들은 구글 딥마인드에서 핵심 연구를 담당한 인물들로 세계 최고 수준의 연구자들이 모였다는 평가를 받고 있다. 주목할 점은 삼성이 H에 투자했다는 것이다. 지난 5월 진행된 H 시드 투자는 미국 벤처캐피털(VC)인 액셀이 이끌었고, 베르나르 아르노 LVMH 회장, 프랑스 억만장자 그자비에 니엘과 에릭 슈밋 전 구글 CEO 등이 합류했다. 특히 기업으론 삼성과 아마존이 투자 라운드에 합류했다.
업계에서는 H가 선점을 노리고 있는 에이전트 AI와 관련해 회사의 투자자인 삼성, 아마존이 보유한 생태계와 결합했을 때 강력한 시너지를 예상한다. 캔터 CEO는 “한국과의 관계를 포기하지 않을 것”이라면서 “AI 시스템이 연결되는 시대에 모바일 통합을 지원하는 측면에서 강력한 파트너십의 힘을 진심으로 믿기 때문”이라고 강조했다. 아울러 그는 “한국의 생태계 내에서 AGI 관련 제품에 대한 기회를 가질 수 있다고 생각한다”고 덧붙였다.
황순민 기자
