QLoRA: Efficient Finetuning of Quantized LLMs - Abstract, Background
QLoRA는 2023년 5월 발표된 "QLoRA: Efficient Finetuning of Quantized LLMs"에서 등장한 용어다. (논문 링크) 2023년부터 시작해서 회사에서 AI 기술의 서비스 도입등을 검토하는 프로젝트에 참여하게 되었다.해당 프로젝트에 참여하면서 로컬 장비로 LLM을 파인튜닝 하는 일을 해 볼 수 있었는데, 그 과정에서 4bit양자화의 도움을 많이 받았다. 어떤 기술인지 이해도 못하고 무작정 사용하는게 맘에 걸려서 따로 공부를 좀 진행하였다. 이 글에서는 해당 논문 3챕터 까지의 기술적인 내용에 대한 번역 및 해석, 그리고 논문에서 설명되지 않은 배경 기술에 대한 해설을 다루려고 한다. Abstract (초록)We present QLORA, an efficient fine..
OpenAI, LLM, ChatGPT
ChatGPT의 등장나를 비롯하여,인공지능 기술에 대해서 꾸준한 관심을 기울이지 '않은' 사람들은ChatGPT의 등장에 대해 갑작스러운 대단한 기술의 출현이라고 느꼈을 것 같다. 2022년 11월 30일OpenAI는 ChatGPT 서비스를 공개 했다. 이후 약 1년이 지나고, OpenAI에서 준비한 OpenAI DevDay 개발자 컨퍼런스의 기조연설에서 아래와 같은 말을 한다. ChatGPT went viral. 100k people have tried this so far. OpenAI 내부에서는 진행중이던 연구에 대해서 일반 유저의 사용 경험을 얻기 위한 일종의 연구 미리보기 개념의 출시였는데, 그것이 엄청난 바이럴이 되었다. 일 사용자는 5일만에 100만명을 넘어섰고, 40일만에 1천만명을 넘..