티스토리 뷰
ChatGPT의 등장
나를 비롯하여,
인공지능 기술에 대해서 꾸준한 관심을 기울이지 '않은' 사람들은
ChatGPT의 등장에 대해 갑작스러운 대단한 기술의 출현이라고 느꼈을 것 같다.
2022년 11월 30일
OpenAI는 ChatGPT 서비스를 공개 했다.
이후 약 1년이 지나고, OpenAI에서 준비한 OpenAI DevDay 개발자 컨퍼런스의 기조연설에서 아래와 같은 말을 한다.
ChatGPT went viral. 100k people have tried this so far.
OpenAI 내부에서는 진행중이던 연구에 대해서 일반 유저의 사용 경험을 얻기 위한 일종의 연구 미리보기 개념의 출시였는데, 그것이 엄청난 바이럴이 되었다.
일 사용자는 5일만에 100만명을 넘어섰고, 40일만에 1천만명을 넘었다.
이 이후에 많은 기업들이 AI 연구 개발에 적극 투자하기 시작하였고,
아직까지도 인공지능에 대한 뜨거운 관심은 이어지고 있는 듯 하다.
도대체 ChatGPT는 어디서 튀어나온 것일까?
ChatGPT 발표 이전에 OpenAI라는 회사에 대해 얼마나 많은 사람들이 알고 있었을까?
어떤 과정을 거쳐서 OpenAI라는 회사가 설립되었고, 대 LLM시대의 개막을 하게 된 것일까?
ChatGPT는 어떻게 세상에 나왔나
알만한 사람은 알만한 꽤 유명한 고전 게임들인데,
위 두 게임의 개발에 참여한 한 개발자가 있다. (블랙앤화이트는 2의 스크린샷인 점 양해 바란다)
데미스 허사비스 (Demis Hassabis)
13세에 세계 유소년 체스 대회 2위
17세에 테마파크 개발 참여
블랙앤화이트 크리쳐 AI 개발 참여
컴퓨터 과학 학사 (1997)
인지 신경과학 박사 (2009)
이력을 보면 독특한 부분들이 있는데, 어린시절 체스를 잘했던 것도 재미있고
컴퓨터 과학을 전공 했지만 박사 과정은 인지 신경과학으로 하였다는게 참 재미있다.
이분이 박사 과정 중 쓴 논문 목록을 보면 아래와 같은데
해마성 기억상실 환자들은 새로운 경험을 그려내지 못한다
해마 손상이 경험을 기억하는데 미치는 영향
단편적 기억 생성의 해체
단편적 기억을 형성하는 뇌 활동에 있어서 특정 장면 구성(Scene Construction)의 역할
상상력을 이용한 단편적 기억의 신경 기저 이해
기능성 자기공명영상을 이용한 다양한 기억 생성 과정에서의 뇌 활동 차이 분석
두뇌의 생성 시스템
기억 구성에 관여하는 요소들 분석
인간 해마 뉴런의 총체적 움직임 해석
장소 이동 기억이 뇌에 저장되는 형태 분석
인간의 뇌와 기억에 대한 많은 연구를 하셨던 것을 알 수 있다.
데미스 허사비스는 일론 머스크등의 자본을 투자받아
2010년, 인공지능을 연구하는 벤처기업 DeepMind를 설립했다.
일론머스크는 당시 여러 투자자 중 한명일 뿐이지만, 이 역사를 파헤치다보니 재미있는 부분이 있어 굳이 언급하였다.
한편 2011년, Google에서는
딥러닝 인공지능 연구 팀인 Google Brain이 조직되었다.
2013년, DeepMind는 논문 하나를 발표하는데,
“Playing Atari with Deep Reinforcement Learning”
화면의 픽셀과 게임 점수에 해당하는 보상 신호를 관찰하고 조이스틱 방향을 선택,
게임 규칙에 대한 사전 지식 없이 학습한 50가지 Atari 게임 중 절반 이상에서 인간 수준의 성능을 보였다.
그리고 2014년,
무려 구글이 5억달러라는 엄청난 액수에 DeepMind를 인수 발표를 하였다.
DeepMind의 Atari 게임 시연이 구글의 인수 결정에 크게 기여했다고 한다.
DeepMind는 2013년도에 있었던 페이스북의 인수 제의는 최종적으로 거절했다.
이후 인터뷰에서 구글의 인수에 동의 하게된 중요한 이유로, 연구 목표나 방향성을 설정하는데 있어서 자유로운 통제권을 받았다는 점을 말했다.
한편, DeepMind의 인수에 대해 초기 투자자인 일론 머스크가 크게 반대했다.
DeepMind를 직접 인수하기 위해 PayPal의 공동 창업자인 Luke Nosek과 함께 자금 조달 가능성을 모색하는 등 많은 노력을 기울였으나, 구글은 결국 2014년 5억 달러에 달하는 DeepMind 인수를 발표했다.
2015년, 일론 머스크는 샘 올트먼과 함께 OpenAI를 공동 창업했다.
안전한 AGI 개발을 목표로 하는 비영리 단체로,
폐쇄형 인공지능의 대표 주자인 Google을 견제하기 위해서였다.
그리고 다음 해인 2016년,
Google DeepMind는 바둑 인공지능 프로그램 알파고를 공개
프로 바둑 기사와의 대결 등, 대중에게 인공지능의 가시적인 성과가 크게 각인되는 사건이였다.
이 시기에 4차 산업혁명이라는 단어가 유행처럼 번지기 시작하였는데,
4차 산업혁명이라고 언급된 여러 기술 중, 인공지능을 대표하는 상징성은 단연 구글의 알파고에 있었다.
2017년
구글 리서치, 브레인 소속 연구진이
“Attention Is All You Need”논문을 발표 했다.
Transformer 모델을 제시,
기존의 언어 모델과 비교하여 우수한 성능을 보여, 이 논문으로 인해 Transformer에 기반한 다양한 언어 모델들이 탄생하기 시작했다.
2018년, 일론 머스크는 OpenAI 이사회에서 사임
(이후 2019년, 자신의 지분을 MS에 전량 매각한다.)
알려진 이유는 구글과의 기술 경쟁에서 밀린점과, OpenAI를 사유화 하려는 시도
(인수 시도)가 실패로 돌아가자 사임했다고 한다.
같은해에, OpenAI는 GPT-1을 공개하였다.
2019년, OpenAI는 GPT-2 공개
파라미터 약 15억개를 가진 언어 모델
심각한 수준의 오답도 하지만, 기존의 언어 모델 보다 훌륭한 성능을 보여주었다.
2020년, OpenAI GPT-3 발표 (오픈소스x)
무려 1750억개의 파라미터를 가진 거대 언어 모델이였다.
그리고 2022년 11월 30일
Open AI는 GPT-3를 미세조정한 GPT-3.5 기반의 ChatGPT 서비스를 공개한다.
이 시기 전후로, 방대한 양의 파라미터를 가진 언어 모델을 LLM이라고 부르기 시작했다.
LLM(Large Language Model) 시대의 시작이였다.
고찰
이 글은 ChatGPT 중심으로 인공지능 연구의 흐름을 따라가보았다.
같은 시기에 물론 다른 기업들의 활동도 재미있다.
메타나 마이크로소프트와 같은 기업이 이 시기에 무엇을 하였는지 찾아보는 것도 재미있을 것이다.
또는 LLM이 아니라 이미지 생성과 같은 다른 생성형 AI의 발전을 찾아보는 것도 재미있을 것 같다.
과거 인공지능 연구 분야에 과감한 투자를 아끼지 않고 기술을 선도하던 구글을 견제하기 위해 OpenAI가 설립되고,
그럼에도 불구하고 알파고의 발표로 구글이 이 분야의 왕좌를 구축한다고 느껴졌으나.
정작 그 황금기에 구글이 발표한 연구 논문으로 인해
OpenAI의 ChatGPT의 발표를 촉진시켰다는 점이 재미있다.
구글의 Attention Is All You Need 논문은 상징성 있는 논문이고
이후 많은 연구를 통해 많이 발전되었지만 근본적으로 현 시기의 LLM들은 Transformer 기반 모델들이라고 할 수 있다.
앞으로 이 분야를 리드하는 기업이 어떤 기업이 될 것인지
어떤 연구와 새로운 기술이 이 분야의 기술력을 또 한단계 점프 시킬 것인지 궁금하다.
'Study > AI, ML' 카테고리의 다른 글
| QLoRA: Efficient Finetuning of Quantized LLMs - Abstract, Background (0) | 2024.06.14 |
|---|