OPSOAI
Leaking GPU Memory? The Real Reason vLLM and PagedAttention Disrupted LLM Serving

🚀 GPU 메모리가 줄줄 샌다고요? vLLM과 PagedAttention이 LLM 서빙의 판을 엎은 진짜 이유

🔥 The Hook & TL;DR: 왜 우리는 vLLM에 열광하는가? 솔직히 까놓고 얘기해 봅시다. 사내에서 PoC 단위로 LLM 띄울 때는 다들 행복합니다. 7B, 13B 모델 하나 올려놓고 “와, 대답 잘하네요!” 하며 박수 치죠. 그런데 이걸 실제 프로덕션에 올리고, 동시 접속자가 10명, 50명, 100명으로 늘어나는 순간 인프라팀에 ...

Tech
eBPF and Cilium: Is Sidecar-less Service Mesh a Salvation or Another Disaster?

eBPF와 Cilium: 사이드카(Sidecar) 없는 서비스 메시는 과연 구원일까, 또 다른 재앙일까?

eBPF와 Cilium: 사이드카(Sidecar) 없는 서비스 메시는 과연 구원일까, 또 다른 재앙일까? 여러분의 쿠버네티스 클러스터, 지금 Istio Envoy 사이드카가 메모리를 얼마나 집어삼키고 있나요? 솔직해집시다. 서비스 메시는 마이크로서비스 아키텍처의 빛과 소금이라고 배웠지만, 막상 현업에 적용해 보면 수십, 수백 개의 파드(Pod)마다 ...

Tech
🔥 Escaping the iptables Swamp: Why a 10-Year Backend Dev Surrendered to eBPF and Cilium

🔥 iptables 늪에서 탈출하기: 10년 차 서버 개발자가 eBPF와 Cilium에 두 손 두 발 다 든 이유

🔥 1. 프롤로그: 우리는 왜 여전히 네트워크 병목에 시달리는가? 솔직히 까놓고 얘기해 봅시다. 쿠버네티스(Kubernetes) 환경에서 대규모 트래픽 좀 받아봤다 하는 분들 중에, iptables 때문에 새벽에 등골 서늘해진 경험 없으신 분 있나요? 노드 수가 100개, 500개로 늘어나고, 마이크로서비스가 잘게 쪼개지면서 서비스 엔드포인트가 수만...

Tech
Is it Time to Let Redis Go? A 10-Year Backend Engineer's Deep Dive into Dragonfly's Multi-threaded Magic

Redis, 이제 보내줄 때가 된 걸까? 10년 차 백엔드 개발자가 밑바닥까지 뜯어본 Dragonfly의 '멀티스레드' 마법

새벽 3시, 슬랙 온콜 채널이 미친 듯이 울리기 시작합니다. 대규모 선착순 쿠폰 이벤트에 트래픽이 몰리면서 메인 Redis 클러스터의 레이턴시가 폭증했기 때문이죠. 서둘러 CloudWatch 대시보드를 켜보니, 전체 메모리 사용량은 10%도 안 되는데 CPU 1번 코어만 100%를 찍고 장렬히 산화하고 있습니다. 서버 장비는 64코어짜리 최고급 스펙인...

Tech
The End of the Sidecar Pattern? A 10-Year Engineer's Deep Dive into eBPF and Kernel-Level Revolution

사이드카 패턴의 종말? 10년 차 엔지니어가 까본 eBPF의 진짜 민낯과 커널 레벨의 혁명

마이크로서비스 아키텍처(MSA)가 은탄환인 줄 알았던 시절이 있었습니다. 그런데 막상 뚜껑을 열어보니 어땠나요? 서비스 간의 통신과 트래픽을 정교하게 제어하겠다고 Istio나 Linkerd 같은 서비스 메시(Service Mesh)를 도입하는 순간, 우리는 ‘사이드카(Sidecar) 프록시’라는 거대한 괴물과 마주하게 됩니다. “팀장님, 비즈니스 로...

Tech