로컬 모델 (devstral 2 small)을 써보려 했는데
초당 3토큰정도 나오는 것 같아 포기했습니다. ^^;

퍼플렉시티한테 물어보니 qwen 7B 모델을 쓰거나... 아니면 M4 맥미니 (통합 메모리 24GB) 정도면 그럭저럭 쓸 순 있을 것 같다고 하는데
아무래도 상용 모델 가입해서 쓰는것의 속도를 바라거나 하면 실망하겠죠.

트랜스포머 기반이 아닌 다른 구조가 AI의 대세가 된다면
좀 저비용 고성능으로 1인 1AI를 갖는 시대가 오지 않으련지 생각도 해봅니다.