CategoriesBooksIT

AI 에이전트 생태계

완주!!

이 책의 단점은 무겁다는 것이다(624p). 기나긴 독서 내내 들고 있기 힘들었다. 그 무거움의 다른 말은 ‘친절함’과 ‘세심함’이다. 덕분에 머리 속은 훨씬 꽉 찼다.

빈틈없이 설명하고, 설명한 것은 도표로 정리하고, 코드 스니펫을 보여주고, 챕터 끝에서 다시 한 번 요약한다. 앞뒤로 연결된 개념도 나올 때마다 복습. 밑줄치려던 형광펜은 내려놨다. 중요한 구절에는 이미 빨간색으로 마킹이 되어 있었으니.

이 책은 1부(1~4장)의 개념과 기술과 2부 시나리오와 적용/운영(5~7장)으로 나뉜다. 각각 별도의 책으로 나와도 될만큼 충실하다. 두 권이 한 권으로 묶인 셈인데, 개발자와 기획자가 합체한 듯한 조쉬(이주환)님의 정체성과도 같다고 느껴졌다.

기술을 설명할 때는 인문사회적 관점이, 시나리오를 받쳐주는 테크 스택에서는 개발자의 손맛이 느껴진다. 여기에 실리콘밸리 창업자로서의 경험이 더해져, 추상적 개념들이 현실감을 얻는다. 저자의 기획자, 개발자, 창업자 삼위일체가 이 책의 독보적인 포지션이다.

챗GPT와 함께 600페이지 대장정을 이어가며, AI 에이전트에 대한 피상적 화제를 넘어 IT 서비스의 패러다임 전환을 체감했다. 저자는 이런 변화를 통시적인 맥락에서 접근한다. 그래서 새로운 용어들도 팬시하고 트렌디한 ‘새 것’이 아니라 과거부터 이어진 웹 서비스의 진화선 위에서 이해된다. 동시에 풍부한 미래 시나리오는, 과거-현재-미래를 잇는 넓은 스펙트럼의 관측창 역할을 한다.

읽는 내내 많은 접점들이 튀어올랐다. iPaas는 AR씬 상태 머신의 trigger-action 구조와 닮아있었고, MCP나 A2A는 자연스럽게 피지컬 그라운딩을 부른다. 로봇 뿐만 아니라 AR도 소환될 것이다. MAS는 조직의 R&R과 비슷했다. 다만, 인간의 욕망이라는 변수가 빠져있을 뿐. (AI도 욕망이라는 아웃풋이 있다지만ㅎㅎ)

저자께서 AI 에이전트로 빙의해 큐레이션 해 주신 방대한 논문 속 개념과 방법론들 속에서 이런 서로 다른 패러다임을 연결하는 에이전틱 라이프를 그려볼 수 있었다. 그런데 너무 많은 아이디어를 접하다보니, 나중에는 어디까지가 현재이고 어디부터가 미래인지 현실감이 흐려지는 기분도 들었다.

개별 LLM을 쓰는 것조차 이렇게 많은 혼란을 야기하는데, 복잡한 사고와 행동까지 붙은 에이전트 아키텍처 속에서 누적될 오차와 리스크, 비용은 ROI가 나올까? 실제 현장에서 AI 에이전트는 얼마나 도입됐고, 어떤 베스트 프랙티스로 정착 중일까?

오늘과 내일의 간극이 너무 커서 무엇도 단정하기 어려운 지금, 나는 무엇을 하고 있어야 할까를 생각하게 된다. 우선 일단은, 이 책을 읽었다. 그러고 나니 AI 에이전트 문해력이 무척 높아진 것을 느낀다. 요즘 관련 자료들이 쏟아져 나오는데, 이해가 잘 되서 뿌듯했다. 다음 스텝의 준비가 되서 다행이고 이 책이 너무 고맙다.

이렇게 1분짜리 숏츠 하나 끝까지 못 보는 내가 600페이지를 완주했다. 한 문장 한 문장 곰씹어가며, 이해 안 가는 부분, 이견에 대해 조쉬님 대신 챗g에게 캐물어 간, 느리디 느린 slow reading. 너무나도 넓은 스펙트럼의 책. 국토 종단 완주 뱃지같은 거 받아야 할 것 같은 기분이다ㅎㅎ 악의 평범성까지 접하게 될 줄이야.

CategoriesDiaryIT

미래를 걷는 기술

네이버 입사하며 맡은 첫 서비스가 지역정보(지도 + 플레이스)였고, AR 내비 첫 프로젝트가 코엑스였는데 지금 네이버 지도 안에 코엑스 AR 내비가 들어간 것을 보니 회사 인생의 두 기점이 교차하며 뭔가 한 챕터가 완성된 기분.

둘 다 ‘맨 땅에 헤딩’이라는 공통점이 있었는데, 잘 가꾸어 전달했고 이 기술의 진짜 가능성을 찾아 더 큰 세상으로 새로운 걸음을 떼는 이 시점에 예전 아시아문화재단에서 했던 인터뷰로 이 시간들을 랩업~

AR 내비의 기획자이자 첫 번째 사용자로서 비오고 눈오고 바람불었던 그 길들을 사계절 밤낮으로 참 많이도 걸었던 시간, 내 인생에 가장 많이 걸었던 시간. 미래를 걷기 위해 현재를 걷고 또 걸어야 했던 날들. 참 잘했어요~ ⭐️⭐️⭐️⭐️⭐️ 셀프 별 다섯개! :)

미래를 걷는 기술

네이버랩스 AR팀 정유진 / YOOJIN Jung

과거에는 누구나 자동차 글로브박스 안에 종이로 된 지도를 가지고 다녔다. 얼마나 펼쳤다 접었다 했는지 접힌 선대로 조금씩 찢어져 있던 지도. 그 지도는 자동차에 내비게이션이 내장된 이후로 어디론가 사라져버렸다.

그리고 지금, 스마트폰으로 내가 원하는 내비게이션 앱을 자동차와 연결해 사용하고 간편하게 업데이트도 가능하다. 걸을 때도 마찬가지다. 우리는 걷다 길을 잃었을 때 가장 먼저 주머니에서 핸드폰을 꺼내 지도 앱을 켠다. 목적지로 가는 방향을 알려주고 나의 위치를 실시간으로 표시해준다. 하지만 쇼핑몰이나 박물관처럼 커다란 실내 공간에서 길을 잃었을 때는 속수무책으로 같은 자리를 빙빙 돌 수밖에 없다. 똑같은 자리를 세 번째 돌았을 때! 우리는 간절히 생각한다. 더 똑똑한 내비게이션이 필요하다고

Q. 어떤 일을 하세요?

A. 저는 네이버랩스의 AR(Augmented Reality)팀에서 기획과 콘텐츠를 담당하고 있습니다.

Q. AR이라면 증강현실인데, 처음 들었을 때는 ‘포켓몬 고(Pokémon GO)’ 가 생각났어요. 네이버랩스에서 다루는 AR은 어떤 건가요?

A. 현실 세계를 그대로 복제한 디지털 트윈 데이터와 AR기술로 실제 공간과 자연스럽게 연결되는 AR 내비게이션을 개발하고 있어요. AR팀에서는 현실에 재미를 더해주는 일이라기보다 사람들에게 실질적으로 필요한 부분을 고민해요. 내비게이션, 즉 길을 찾는다는 건 누구나 어려움을 겪는 문제이고 낯선 곳에서의 길 찾기가 2D 방식의 지도에서는 해결하기 힘든 점이 있어요.

특히 실내에서는 지도에 위치가 표시되어 있어도 눈앞에 있는 실제 환경과 추상화된 지도 속 그림을 매치하기 힘든 경우가 많거든요. 실제 환경과 정밀하게 연결되는 AR 내비게이션으로 이런 문제들을 해결할 수 있습니다.

Q. 가장 먼저 갔던 장소는 어디예요? 왠지 굉장히 복잡한 곳이었을 것 같은데요.

A. 맞아요. 내비게이션이 필요한 장소여야 하잖아요. 낯설고 헷갈리는 공간을 우선적으로 찾았어요. 그곳이 바로 서울의 삼성역과 연결된 컨벤션센터인 코엑스(Coex)예요. 코엑스는 리모델링 이후 사람들이 길을 많이 헤매는 곳이 됐잖아요. 던전 같다, 미로 같다는 말까지 나왔으니까요. 그래서 코엑스를 첫 번째로 시작하게 됐습니다.

Q. 와, 저도 코엑스에서 진짜 여러 번 길을 잃었어요. 실내 AR 내비게이션은 복잡한 구조의 실내를 지도로 구현해내는 거잖아요. 그 과정에서 유진 님도 길을 많이 잃어버렸을 것 같아요.

A. 저보다 실내 매핑로봇이 가장 먼저 가서 그곳에 있는 지형지물의 위치나 간판 같은 정보들을 수집해 와요. 코엑스는 네어비랩스의 매핑로봇 초기 버전인 M1이 했고, 지금은 M2까지 나온 상태고요. 저는 실내 매핑로봇이 수집해 온 정보로 디지털 트윈 데이터를 구축하면 그것을 사람들에게 보여주는 서비스 인터페이스를 담당하고 있어요. 그러니까 지도 위에 여러 가지 인터페이스를 엮어서 사람들이 길을 찾을 수 있게 만드는 역할이죠.

Q. 어렵네요. 실내 공간에서 어떤 것들을 확인하고 구현해내는 건지 예를 들어 설명해주시겠어요?

A. 예를 들면 사람들이 코엑스를 다니다가 어떤 지점에서 혼란스러워하는지, 어디를 찾아가려고 했을 때 어떤 문제가 생기는지, 특히 헷갈리는 곳은 어디인지를 살피는 거예요. 사람들의 주요 동선이나 많이 찾아가는 곳들도 파악하고요. 그런 지점들을 찾아서 사전 경로 시나리오를 정리하죠.

Q. 그렇군요. 이 일을 하시면서 정말 많이 걸어 다니셨다고 들었어요.

A. 그렇죠. 일반적인 소프트웨어는 앉아서 테스트해볼 수가 있는데 제가 하는 일은 문제가 생겼을 때 그것을 해결하고, 제대로 해결이 됐는지 확인하려면 다시 그 장소로 가서 경로를 테스트해야 하니까요. 똑같은 상황에서도 환경적인 영향을 많이 받기 때문에 여러 다른 현상이 벌어지는 경우도 많아서 끊임없이 테스트해서 데이터를 쌓아두고 있어요. 그러기 위해서는 많이 걸을 수밖에 없는 거죠.

Q. 가장 많이 걸은 장소는 어디인가요?

A. 국립중앙박물관이 아닐까 싶어요. 규모가 워낙 방대하니까요. 참, 판교 현대백화점은 하루에 세 번씩도 갔어요. 가까우니까 아침에 가서 테스트하고 다시 개발해서 점심에 가서 확인하고 다시 개발하고 저녁에 가서 확인하고 이렇게요.

Q. 네이버랩스 유튜브에서 ‘국립중앙박물관 AR 내비게이션 데모’ 영상을 봤는데 길을 안내해주는 내비모드, 3차원으로 유적지의 현장을 볼 수 있는 투어모드, 눈앞에 유물 이미지가 펼쳐지는 정보증강 같은 신기한 기능들이 있더라고요. 그걸 보면서 박물관에 정말 유용한 기능이라는 생각이 들었어요.

A. 국립중앙박물관에서는 길을 찾는 것도 중요하지만 길의 끝에 결국 유물이 있을 거고 그 유물에 대한 의미 있는 정보를 보여주는 시나리오가 필요하다고 생각했어요. 유물을 통해 우리가 가지고 있는 기술의 장점을 가장 극대화해서 보여주고 싶었고요. AR만이 할 수 있는 임팩트 있는 정보전달을 하고 싶었죠.

예를 들면 앱을 켜서 카메라를 빗살무늬토기 앞에 대면 토기의 무늬들을 하나하나 다 보여주는 디지털 콘텐츠를 띄웠어요. 사용자 테스트 때 디지털 콘텐츠를 보고 난 사람들이 실제 빗살무늬토기의 무늬들을 하나씩 찾아보는 거예요. 가상의 디지털 콘텐츠가 단순히 소비로 끝나는 게 아니라 실제 존재하는 것을 더 깊이 바라보게 하는 역할을 한 거죠.

Q. 신기했던 게 화면에 뜨는 유물들이 정말 실감나게 묘사되어 있더라고요.

A. 공간과 이질감 없이 자연스럽게 표현하기 위해 노력했어요. 조도도 계산하고 재질감도 확인하고 정확한 위치도 파악을 해야 해요. AR 단계만 해도 엄청나게 세분화된 파트들이 있어요.

Q. 실내 AR 내비게이션을 길 찾는 역할로만 생각했다가 국립중앙박물관 사례를 보니 다양한 역할을 하고 있다는 게 확 와 닿더라고요. 적용되는 장소가 어디냐에 따라서 역할이 조금씩 달라지는 거네요?

A. 그렇죠. 장소마다 포인트들이 달라요. 길을 찾는다는 본연의 역할은 바뀌지 않지만 사람은 어떤 목적을 가지고 이동을 하는 거잖아요. 그 목적이 무엇이냐에 따라서 각 장소에 필요한 시나리오가 달라지는 거죠.

예를 들면 백화점 식품관이면 어떤 음식들이 있는지, 이 식당의 장점은 무엇인지를 보여주고 쿠폰 같은 프로모션적인 시나리오가 필요하겠죠. 쿠폰북을 나눠주는 거랑 그 식당을 지나갈 때 사용할 수 있는 쿠폰을 눈앞에서 보여주는 것은 또 다른 느낌이고요. 이걸 프론트 도어 프로모션(Front Door Promotion)이라고 하는데 여러 장소 중에 선택해야 하는 상황에서 사람들에게 정보를 주고 결정을 내리도록 하는 거예요.

소비가 필요하지 않은 국립중앙박물관의 AR 콘텐츠와는 완전히 다른 방식의 접근인 거고요

Q. 우리에게 익숙한 차량 내비게이션과 실내 AR 내비게이션과는 다른 점이 많은 것 같아요. 실내를 구축하는 것이 훨씬 복잡하고 어렵다고 들었어요.

A. 지금 주제에서는 실외와 실내보다 차량과 도보의 구분으로 보는 게 맞을 것 같네요. 다 나름대로 어려움이 있을 거라고 생각해요. 특징이 다른 거죠. 차량 내비게이션은 이동이 굉장히 빠르고 이동 범위도 넓어요. 정보 자체가 넓고 허용 범위도 커요.

반면에 도보 AR 내비게이션은 걸어서 이동하는 사람들을 대상으로 하니까 정밀도가 높아야 해요. 차량으로 1m 오차는 큰 문제가 되지 않지만, 도보에서 1m는 완전히 다른 방향이 되기도 하거든요.

그래서 정밀한 데이터를 더 정확하게 만들어야 한다는 어려움은 분명 있는 것 같아요. 또 이런 것들을 모두 3D로 정보를 구축하기 때문에 난이도가 높다고 할 수 있겠죠.

Q. 이렇게 수많은 기술의 과정을 거치는 일이 순조롭지만은 않았을 텐데요. 일을 하면서 길을 잃은 것 같은 기분이 들 때도 있었을 것 같아요.

A. 길을 잃었다는 건 두 가지잖아요. 목표가 있는데 어떻게 가야 될지를 모르는 것 혹은 목표 자체가 없어지는 것. 목표가 있는데 길을 잃으면 그건 뭐랄까 저에게는 도전이에요. 그때는 최선을 다해서 그 방법을 찾는 것 같아요.

목표가 명확하면 멀리 돌아가든 더 빠른 길을 가든 별로 중요하지 않은 것 같아요. 어쨌든 갈 수 있는 방향을 찾아서 가면 그 과정에서 많은 걸 배울 수 있거든요. 꼭 내가 생각했던 길로 가지 않아도 다른 길로 가면서 더 많은 걸 배우게 되기도 해요. 사실 저희 프로젝트도 그런 과정들이 있었고요.

AR이라는 걸 하겠다고 시작했지만 어떻게 가야 할지 몰라서 다른 길로 많이 돌아갔던 적들도 있어요. 어디로 가도 내가 맞는지 틀리는지조차 알 수가 없었어요. 때로는 멈춰서야 할 때도 있고 거꾸로 가야 할 때도 있는 것 같아요.

제일 힘들었던 때는 수많은 동료와 정말 열심히 함께 달려왔는데 맞다고 생각해 온 목표가 틀렸을 때, 뒤돌아서면 그 동료들이 있잖아요. 그때 제일 힘들었어요. 그 과정들에서 배운 것들이 지금은 좋은 밑거름이 되었지만요.

Q. AR에 빠질 수 없는 기술인 디지털 트윈(Digital Twin)이 궁금해요. 이 기술은 디지털 세계와 현실을 겹치는 작업 같아요.

A. 디지털 트윈은 현실 세계를 그대로 옮겨 디지털 세계에 반영하는 게 목표예요. 디지털 트윈 데이터 자체가 현실을 정교하게 반영해야, AR 내비게이션과 같이 디지털 트윈을 기반으로 한 서비스와 기술들도 좋은 성능을 낼 수 있고요. 문제는 현실이 계속해서 바뀐다는 점이죠. 그래서 한번 만들면 끝나는 고정된 결과물이 아니에요. 작년의 강남역과 오늘의 강남역이 다른 것처럼요. 끝없이 업데이트를 해야 해요.

여기에서 좀 더 나아가면 우리가 있는 이 방도 조금 전까지는 비어있었잖아요. 우리가 들어옴으로써 바뀐 거죠. 이런 실시간적인 현실을 반영하는 것도 연구하고 있어요. 기술을 이용해서 최소한의 노력으로 가장 빠르게 업데이트하는 것이 저희의 연구주제 중 하나예요.�

Q. 하루 종일 AR을 보고 있으면 현실에서 착각하는 순간도 있지 않나요?

A. 국립중앙박물관의 각 부분에 유물 콘텐츠를 띄운 것처럼 저는 기본적으로 어떤 공간을 보면 어떤 콘텐츠가 어울릴까를 고민하게 돼요. 빈 공간을 보면서 머릿속으로 이것저것 띄워봐요. 그런데 남들이 봤을 때는 아무것도 없는 곳을 뚫어져라 쳐다보는 이상한 사람이 되는 거죠.

Q. 실내 AR 내비게이션이 사람들에게 어떻게 쓰이기를 바라시나요?

A. 그냥 필요한 거 아니고 꼭 필요한 거였으면 좋겠어요. AR의 가장 어려운 점은 앱을 설치하고 핸드폰 카메라를 들게 하는 거거든요. 그런데 핸드폰은 AR 보라고 만들어진 게 아니잖아요. 핸드폰 화면을 얼굴 앞에 계속 들고 다니면 팔 아프고 무거워요.

그럼에도 불구하고 사용해야만 하는 어떤 이유를 제시할 수 있어야 하고 볼만하다는 가치를 주는 것이 가장 중요하다고 생각해요. 그러나 스스로 회의감이 있었어요. 누가 이걸 이렇게 들고 세워서 볼까, AR 안경 같은 새로운 장치가 나와야 하는 거 아닌가 하는 이야기들에 저도 일정 부분 수긍했고요.

그런데 국립중앙박물관에서 디지털 박물관 체험을 진행했었거든요. 그때 조그만 어린이들이 무거운 핸드폰을 내려놓지도 않고 집중해서 보는 거예요. 화면을 보며 만지고 싶어하기도 하고 비가 오는 설정에서는 실제로 머리를 가리기도 하고요. 그걸 보면서 명확한 이유만 있다면 불가능하지 않겠다는 것을 느꼈어요.

그럼에도 여전히 사람들은 어려워할 것이라는 감각을 잊지 않으려고 해요. 기획자가 내 기획에 너무 빠져들면 안 되니까요. 사용하지 않는 게 기본인 거예요. 유용하게 사용할 수 있도록 만드는 게 제 역할이고요.

Q. 네이버랩스에서 연구하고 시도하는 것들은 굉장히 미래적인 기술인데요. 기술 사용의 사각지대에 있는 분들이 분명히 있잖아요. 그에 대해서는 어떻게 생각하시나요?

A. 사실 초기에는 그런 부분들까지 고민하지 못했어요. 일단 기술 개발하는 것만으로도 버거웠으니까요. 그런데 사람들이랑 직접 만나보니까 문제들이 튀어나오는 게 느껴지더라고요. 나이드신 분들은 일단 읽기가 힘들다, 잘 안 보인다, 터치가 안 된다고 말하세요. 기술 사용이 어려운 분들도 사용할 수 있도록 사용자 피드백을 받아가면서 보완해나가고 있어요. 새로운 인터페이스로 접근하는 것도 연구하고 있고요.

기술이라는 게 사람과 완전히 멀어지면 안 된다고 생각해요. 기술을 위한 기술이 돼버리면 안 되니까요.

Q. 벌써 마지막 질문이네요. 사람들이 산책하고 어딘가를 향해 걷는 시간이 현재라면 유진 님이 걷는 시간은 미래에 있다는 생각이 들어요. 유진 님이 생각하시는 걷는다는 것은 어떤 의미인가요.

A. 제 일상생활에서 걷는다는 건 다른 사람들과 비슷한 목적일 거예요. 그런데 핸드폰을 들고 제 서비스를 사용하며 걷는다는 건 특별한 의미가 있죠. 제가 하는 일의 시작이자 완성이에요. 때로 저는 AR 없이 그냥 카메라를 켜놓고 걷거든요. 여기에 뭐가 있어야 할까를 생각하며 제 아이디어와 기획의 시작점이 되는 거예요.

시나리오가 만들어지면 정말 훌륭한 개발자들과 디자이너들이 콘텐츠도 만들고 개발자들이 개발도 해주십니다. 그러면 저는 그 결과를 가지고 다시 한번 같은 길을 걸어요. 비어있던 공간이 채워진 길을요. 그러니까 저에게 걷는 건 제 일의 시작이자 완성이라고 말할 수 있을 것 같아요.