소소하지만 과학이야

AI는 왜 갑자기 빨라졌을까 | 터보퀀트와 KV 캐시의 과학 AI는 왜 갑자기 빨라졌을까 터보퀀트가 바꾼 보이지 않는 계산 방식 AI가 비싼 이유는 단순하다. 기억을 유지할수록 비용이 폭발하기 때문이다. 그래서 지금까지 AI는 길게 쓰면 쓸수록 손해였다. 그런데, 이 구조를 무너뜨리는 기술이 등장했다. 메모리를 최대 6배 줄이면서도 성능은 거의 유지하는 방법. 이름은 생소하다. 구글이 만든 ‘터보퀀트’ AI는 어떻게 ‘기억’할까 AI는 인간처럼 기억하지 않는다. 대신, 이전 대화 데이터를 저장하고 다시 사용한다. 이때 사용되는 것이 KV 캐시(Key-Value Cache) 다. 이전 문장의 정보 저장 문맥 연결 유지 다음 답변 생성에 활용 즉, AI의 기억 창고 라고 보면 된다. 문제는 ‘기억이 너무 커진다’는 것 대화가 길어질수록 이 캐시는 계속 쌓인다. 그리고 결국, 메모리가 터지기 시작한다. 짧은 대화 → 빠름 긴 대화 → 느림 + 비용 증가 기존 해결 방법은 단순했다 답은 하나였다. “더 좋은 하드웨어를 쓰자” 하지만 이건 근본 해결이 아니다. 그저 더 큰 그릇을 쓰는 것뿐이다. 터보퀀트의 핵심 아이디어 여기서 완전히 다른 접근이 등장한다. “모든 데이터를 저장할 필요가 있을까?” 이 질문에서 터보퀀트가 시작된다. 숫자를 줄이는 것이 아니라 ‘정보를 줄인다’ 기존 방식은 16비트 수준으로 데이터를 저장한다. 정확하지만 무겁다. 터보퀀트는 다르다. 3~4비트 수준으로 압축한다. 하지만 여기서 중요한 차이가 있다. 단순히 줄이는 것이 아니다. 핵심은 ‘방향’이다 터보퀀트는 데이터를 이렇게 본다. “모든 숫자가 중요한 건 아니다.” 대신, 방향과 패턴만 남긴다...