Apple Silicon
서문 Apple Silicon Mac 두 대를 연결하면 강력한 로컬 LLM 클러스터를 구축할 수 있습니다. MacBook Pro M4 Max 64GB와 Mac Studio M4 Max 64GB를 Thunderbolt 케이블로 연결하고, Apple의 MLX 프레임워크에서 제공하는 JACCL 백엔드(RDMA over Thunderbolt)를 활용하면 두 기기의 GPU 성능을 합쳐 70B급 대형 모델을 로컬에서 실행할 수 있습니다.
LLM
안녕하세요. 오늘 공유할 내용은 최근 저의 개발 도구 환경 변화에 대한 이야기입니다. GitHub Copilot Pro+ 사용한도 소진 저는 Hermes Agent를 효과적으로 사용하기 위해 GitHub Copilot Pro+ 구독을 유지해 왔습니다. 코드 자동 완성, AI 기반 리팩토링, PR 리뷰 등 개발 워크플로우 전반에 Copilot이 깊이 통합되어 있었죠. 하지만 아직 6월의 절반도 지나지
AI
솔직히 말하면, 구글이 Gemma 3을 출시했을 때만 해도 '그래, 이 정도면 준수하지'라는 반응이 많았다. 그런데 Gemma 4 12B가 나오고 나서 상황이 좀 달라졌다. 특히 12B 모델이 코딩 벤치마크에서 이전 세대 27B 모델을 훌쩍 뛰어넘는 수치를 보여주니, 이걸 그냥 지나치기가 어렵다. 이번 글에서는 Gemma 4 12B IT(Instruction-Tuned)
AI
맥에서 LLM을 로컬로 돌려본 사람이라면 한 번쯤 Ollama를 설치했을 거다. 설치는 쉽고, 모델도 잘 받아지고 — 근데 조금 쓰다 보면 뭔가 아쉽다. 동시에 여러 요청을 보내면 버벅이고, 한 번 세션이 끊기면 컨텍스트를 처음부터 다시 읽어야 하고, 모델 여러 개를 관리하려면 터미널을 뒤적여야 한다. 맥이 이 정도 하드웨어인데, 좀 더 잘 쓸
AI
AI 에이전트를 실제로 써본 사람이라면 한 번쯤 이런 경험을 했을 거다. Claude Code나 Codex로 코드베이스 분석을 시키는데, 툴 출력 결과 하나에만 토큰이 수천 개 쏟아지고 — 조금 지나면 컨텍스트가 꽉 차서 에이전트가 이상한 소리를 하기 시작한다. 결국 세션을 다시 시작하거나, 직접 프롬프트를 잘라내거나. 왜 이렇게 됐냐고 물어보면 대부분 "컨텍스트 윈도우가
LLM
솔직히 말하면, 처음 DGX Spark 발표를 봤을 때 '또 엔비디아 마케팅이구나' 싶었다. $3,000짜리 미니 PC에 supercomputer라는 단어를 붙이는 건 좀 오버 아닌가 싶었으니까. 그런데 실제 리뷰들을 파고들수록 생각이 달라졌다. 128GB 통합 메모리로 120B 파라미터 모델을 캐리어 가방에 들어가는 기계에서 돌린다는 게 — 이건 진짜다. 이번 글은 DGX Spark와
AI
AI Agent가 학습 데이터 외의 최신 정보를 다루려면 RAG(Retrieval-Augmented Generation) 기술이 필요합니다. RAG는 현대 AI Agent의 핵심 기술 중 하나입니다. RAG의 개념 RAG는 검색(Retrieval) + 생성(Generation) 을 결합한 방식입니다. LLM의 파라미터에 모든 지식을 담는 대신, 외부 데이터베이스에서 관련 정보를 검색해 컨텍스트로 제공합니다. 기존 LLM의 한계 * 학습 데이터 이후의
AI
AI Agent(에이전트)는 단순히 질문에 답하는 챗봇과는 다릅니다. 에이전트는 목표를 스스로 분해하고, 도구를 사용하며, 결과를 평가하고, 다음 행동을 결정하는 자율적 AI 시스템입니다. AI Agent의 핵심 요소 1. 인식 (Perception) 에이전트는 텍스트, 이미지, 파일, API 응답 등 다양한 입력을 받아 현재 환경 상태를 파악합니다. 2. 추론 (Reasoning) LLM(대형 언어