파싱 에러율 0%를 달성했을 때 팀 슬랙에 축하 이모지가 쏟아졌다. Structured Output 도입 전에는 LLM 응답의 8~12%가 JSON 파싱에 실패했고, 그때마다 재시도 로직이 돌면서 레이턴시와 비용을 잡아먹었다.
고객 문의 분류기를 만들 때였다. 프론티어 모델 API 비용이 월 400만 원을 찍자 팀에서 "파인튜닝해서 작은 모델로 돌리자"는 결론이 나왔다.
우리 팀이 GPT-4 클래스 모델 하나로 모든 요청을 처리하던 시절이 있었다. "일단 잘 되니까"라는 이유로 고객 인사말 응답부터 복잡한 문서 분석까지 전부 같은 엔드포인트를 태웠다.
고객사 기술문서 5만 건을 학습시키면 답변 품질이 올라갈 거라고 믿었다. LoRA로 Llama 3.
금융 도메인 챗봇을 6개월째 운영 중이었다. 모델 성능도 안정적이고, 할루시네이션 비율도 허용 범위 안이었다.
'두바이 쫀득 쿠키'를 영어로 뭐라 적어야 하나. Google Translate에 넣으면 "Dubai chewy cookie"가 나온다.
지난주 금요일, Sysdig 위협 연구팀이 JADEPUFFER 분석 보고서를 공개했다. LLM 에이전트가 랜섬웨어 공격을 처음부터 끝까지 혼자 수행한 첫 번째 문서화된 사례다.
지난달 우리 팀은 고객 응대 챗봇의 시스템 프롬프트에 문장 두 개를 추가했다 — 그게 전부였다. PR을 올리고, 유닛 테스트 187개가 돌았고, 통합 테스트도 통과했고, 코드 리뷰도 받았다.
지난 3월, 우리 팀은 모든 API 요청을 Claude Sonnet 하나로 보내던 구조에서 하이브리드 분배 구조로 전환했다. 단순 분류, 키워드 추출, 포맷 변환 같은 요청은 Haiku급 소형 모델로, 복잡한 추론이 필요한 건만 프론티어 모델로 보내는 방식이다.
API 토큰 비용이 월 2,200만 원을 넘기 시작하면 누구나 같은 생각을 한다. "이거 직접 돌리면 절반도 안 되지 않나?
시맨틱 캐시를 처음 붙였을 때 가장 먼저 한 일은 대시보드에 히트율 그래프를 올린 거였다. 첫 주 22%, 둘째 주 31%, 셋째 주 38%.
Anthropic이 5월 28일 Opus 4.8을 출시하면서 같이 내놓은 게 하나 있다.
지난 달 우리 팀 슬랙에 올라온 메시지: "파싱 에러 0건 달성했습니다 🎉". Structured output 도입 후 3주, JSON 깨짐으로 인한 재시도가 완전히 사라졌다.
LLM에 "JSON으로 응답해"라고 말하면 진짜 JSON이 나올까. 2024년까지의 대답은 "글쎄"였다.
컨텍스트 윈도우만 충분히 길면 RAG가 필요 없어진다는 말, 한 번쯤 들어봤을 거다. 마이애미의 스타트업 Subquadratic이 그 약속을 현실로 만들겠다며 12M 토큰짜리 LLM을 공개했다.
프롬프트 하나를 바꿨다. 기존 버전 대비 응답 품질이 나아졌는지 확인하려고 A/B 테스트를 세팅했다.
파인튜닝 완료 보고서에는 보통 벤치마크 점수, 학습 곡선 그래프, 비용 절감 예상치가 깔끔하게 정리되어 있다. 문제는 그 보고서가 나온 다음 날부터 모델이 늙기 시작한다는 거다.