개발자 단톡방에서 어느 분이 로컬 모델 운용 목적으로 맥미니 24GB 구매를 고려중이시길래 테스트를 요청하셔서 테스트 할 겸 굴려보았습니다.
(맥미니는 M4 모델이 나오자마자, 2024년에 구매)

만족스러웠던 토큰 생성 속도

정말 빨랐습니다. gpt oss 20b 모델은 클로드보다 빨랐던 것 같습니다. 로컬 내 토큰 생성 속도는 정말 만족스러웠습니다. devstral-small-2 모델은 24b인데, 그래도 충분히 빠르게 생성해주었습니다. 클로드 정도의 속도였던 것 같습니다. 조금 더 빨랐을 수도 있고요.

기존에 VRAM 8GB 짜리 메인 컴퓨터로는 초당 1~3토큰 정도 나왔던 것 같은데, 맥에서는 뭐 셀수가 없네요. 정말 빠릅니다. 통합 RAM이 이렇게 좋습니다 여러분.

놀라웠던 문제 해결 능력

백준 플래티넘 5정도 되는 문제를 풀려보았습니다. 어뷰징 방지를 위해 이미 제가 풀었던 문제로 풀려보았습니다. 플래5면 아주 어렵지는 않지만, 그래도 제 기준으로 사람이 풀 때 숙고해야하는 문제임은 맞습니다. 많이 문제를 풀어본 사람들은 뚝딱 나오겠지만요.

그 결과 예상했던 입력에 예상했던 출력이 나왔습니다(맞았습니다!!). 클로드 3.5 소넷으로 풀렸을 때는 못풀었었는데, 3.5가 불과 1년 전에도 현역이었던 모델임을 생각하면 사양에 비해 굉장한 성능입니다. 후속 버전인 3.7 소넷은 2025년 2월 25일 출시였거든요. 적어도 3.5 하이쿠는 로컬 20b가 따라잡은게 아닐지... (근데 3.5 하이쿠도 20B 모델이긴 합니다.)

기대를 안해서 그런지 몰라도 알고리즘 및 자료구조에 대한 이해는 정말 놀라웠습니다. DP 정도의 문제는 쉽게 풀 수 있을거라 생각합니다. 일반적인 프로그래밍에선 이정도의 알고리즘만으로 원하는 것을 개발할 수 있을 것입니다. 모쪼록 '기대하면 실망스럽지만, 기대하지 않았기 때문에 놀라웠다'가 맞는 표현일지도 모르겠습니다.

그러나 실시간성이 필요한 개발 분야라든가, 아니면 개론적인 부분이 아닌 딥한 분야(예를 들어, CUDA를 이용한 병렬 처리 프로그램 - 물론 맥미니는 CUDA를 지원하지 않지만! 예를 들어 '그정도 수준의 프로그램'을 '이 모델'로요.)를 파보라고 하면 아마 잘 못할 것입니다. 제가 해본 것은 아니지만, LMArena 등에서 코딩 순위를 보면 100위권 밖에서 머물고 있는 것을 볼때, 그리고 현역 상용 모델들도 괴로워하는 분야이기 때문에(관련 분야 연구하시는 박사과정 선생님께 들은 내용) 아마 힘들지 않을까 싶습니다.

실망스러웠던 '창조' 능력.

스스로 상상해서 웹 디자인을 해보라고, 기술적인 부분을 제외한 다른 부분을 최소한으로만 가이드한 상태에서 웹 디자인을 시켜보았습니다.

클로드(Claude.ai) 소개 페이지를 만들어줘.
테라코타 색상, 인터랙티브 UI. 
홈 페이지와 기능 페이지, 연락처 페이지 총 3개로 구성되어있으며, Framework 없이 3개의 html 파일과 1개의 style.css, 1개의 script.js로 구성.

결과는...


놀랍도록 구리게 만들어준 것을 보고, 아직 바이브코딩처럼 AI의 창조 능력이 많이 필요한 부분에 대해서는 한계가 있다고 느꼈습니다.

하지만 빨랐죠.

결과적으로, 아래와 같은 사용 목적이라면 로컬 AI를 위한 맥미니 구매를 고려할 수도 있겠습니다.

  • 비용 걱정 없이 간단한 알고리즘/자료구조/접근법 등을 물어보고자 하는 개인 비서가 있으면 좋은 경우
  • 단순한 회귀/분류 문제나 맥락을 유지하지 않는 간단한 테스트/더미 데이터 생성용으로 AI를 쓰려는 경우
  • 기작성된 코드에 대한 디버깅 및 개선을 보조적으로 도움받을 목적

반면, 아래와 같은 경우는 극구 말리고자 합니다.

  • 바이브코딩을 할 때 필요한 토큰 비용이 너무 아까워서 맥미니를 하려고 하는 사람.
  • 나만의 AI 에이전트와 함께 서비스 개발(바이브 코딩)을 하여 사업화를 하고 싶은 사람
  • 개발 지식이 없어 AI에게 모든 개발 프로세스(기획, 디자인, 코딩, 디버깅, 개선)를 맡기고 싶은 사람.

그래도, 로컬 LLM을 돌리고자 할 때 접근할 수 있는 가장 저렴한 옵션 중 하나임은 부정할 수 없을 것 같습니다. 저는 로컬 LLM을 이렇게 쾌적하게 돌려본 적이 없었는데, 이번에 그 편견이 좀 깨졌어요. 통합램 24GB면 나름대로 돌릴 수 있구나... 싶습니다.