JHIN.LOG

QLoRA는 2023년 5월 발표된 "QLoRA: Efficient Finetuning of Quantized LLMs"에서 등장한 용어다. (논문 링크) 2023년부터 시작해서 회사에서 AI 기술의 서비스 도입등을 검토하는 프로젝트에 참여하게 되었다.해당 프로젝트에 참여하면서 로컬 장비로 LLM을 파인튜닝 하는 일을 해 볼 수 있었는데, 그 과정에서 4bit양자화의 도움을 많이 받았다. 어떤 기술인지 이해도 못하고 무작정 사용하는게 맘에 걸려서 따로 공부를 좀 진행하였다. 이 글에서는 해당 논문 3챕터 까지의 기술적인 내용에 대한 번역 및 해석, 그리고 논문에서 설명되지 않은 배경 기술에 대한 해설을 다루려고 한다. Abstract (초록)We present QLORA, an efficient fine..

ChatGPT의 등장나를 비롯하여,인공지능 기술에 대해서 꾸준한 관심을 기울이지 '않은' 사람들은ChatGPT의 등장에 대해 갑작스러운 대단한 기술의 출현이라고 느꼈을 것 같다. 2022년 11월 30일OpenAI는 ChatGPT 서비스를 공개 했다.  이후 약 1년이 지나고, OpenAI에서 준비한 OpenAI DevDay 개발자 컨퍼런스의 기조연설에서 아래와 같은 말을 한다.   ChatGPT went viral. 100k people have tried this so far. OpenAI 내부에서는 진행중이던 연구에 대해서 일반 유저의 사용 경험을 얻기 위한 일종의 연구 미리보기 개념의 출시였는데, 그것이 엄청난 바이럴이 되었다. 일 사용자는 5일만에 100만명을 넘어섰고, 40일만에 1천만명을 넘..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

문제 https://www.acmicpc.net/problem/14503 14503번: 로봇 청소기 로봇 청소기가 주어졌을 때, 청소하는 영역의 개수를 구하는 프로그램을 작성하시오. 로봇 청소기가 있는 장소는 N×M 크기의 직사각형으로 나타낼 수 있으며, 1×1크기의 정사각형 칸으로 나누어져 있다. 각각의 칸은 벽 또는 빈 칸이다. 청소기는 바라보는 방향이 있으며, 이 방향은 동, 서, 남, 북중 하나이다. 지도의 각 칸은 (r, c)로 나타낼 수 있고, r은 북쪽으로부터 떨어진 칸의 개수, c는 서쪽으로 부터 떨어진 칸의 개수이다. 로봇 청소기는 다음 www.acmicpc.net 풀이 입력 크기가 작고, 어떻게 구현해야하는지 거의 전부 설명이 되어있기 때문에, 정확하게 구현만 하면 되는 문제다. 코드

문제 https://www.acmicpc.net/problem/14500 14500번: 테트로미노 폴리오미노란 크기가 1×1인 정사각형을 여러 개 이어서 붙인 도형이며, 다음과 같은 조건을 만족해야 한다. 정사각형은 서로 겹치면 안 된다. 도형은 모두 연결되어 있어야 한다. 정사각형의 변끼리 연결되어 있어야 한다. 즉, 꼭짓점과 꼭짓점만 맞닿아 있으면 안 된다. 정사각형 4개를 이어 붙인 폴리오미노는 테트로미노라고 하며, 다음과 같은 5가지가 있다. 아름이는 크기가 N×M인 종이 위에 테트로미노 하나를 놓으려고 한다. 종이는 1×1 크기의 칸으로 나누 www.acmicpc.net 풀이 어려운 문제는 아니지만 실수하기 쉬운 문제다. 테트로미노의 경우의 수가 19개 있는데 햇갈리지 않고 정확하게 코딩하면 된..

문제 https://www.acmicpc.net/problem/13458 13458번: 시험 감독 첫째 줄에 시험장의 개수 N(1 ≤ N ≤ 1,000,000)이 주어진다. 둘째 줄에는 각 시험장에 있는 응시자의 수 Ai (1 ≤ Ai ≤ 1,000,000)가 주어진다. 셋째 줄에는 B와 C가 주어진다. (1 ≤ B, C ≤ 1,000,000) www.acmicpc.net 풀이 만약 시험장에 있는 응시자의 수(x)가 총감독관이 관리 가능한 수(A) 보다 작거나 같다면, 시험장에는 총 감독관 1명이 필요할 것이다. 만약 크다면 2가지 경우가 있다. 1. x-A를 부감독관이 관리 가능한 수(B)로 나눴을 때 나머지가 0인경우 2. 나머지가 0 이상인 경우 나머지의 몪에 1의 경우 0, 2의 경우 1을 더한다..

현상 : UWF(Unified Write Filter), uwfmgr 사용시 윈도우 시간이 Rollback하는 현상 환경 : Window 10 Enterprise 2016 LTSB UWF의 volume protect 기능을 사용하기 위해 volume protect c:를 설정한 뒤. Filter를 Enable로 설정하고, 그 설정할 당시의 시간을 19.08.21 16:00이라고 하자 문제 현상은 다음과 같다. Filter가 Enable된 시간 기준 26시간 이전으로 윈도우 시간을 설정하면 재부팅시 당시 시간으로 돌아가는 현상이다. 예를 들어 시간을 19.08.19. 16:00으로 설정하면 재부팅 시에 19.08.21 16:00로 시간이 돌아간다. 이에 관련한 시행착오를 통해 알아낸 사실은 다음과 같다. ..