OPSOAI
Colibri: The Pure C Inference Engine Running a 744B MoE Model on a 25GB RAM Laptop

Colibri: 25GB 램 노트북으로 744B 초거대 AI 모델을 구동하는 순수 C 추론 엔진의 원리

TL;DR (한 줄 요약) 무엇인가요: 7440억(744B) 파라미터 규모의 초거대 언어 모델을 단 25GB 시스템 램으로 구동하는 순수 C 언어 기반 추론 엔진입니다. 어떻게 하나요: 전체 중 항상 활성화되는 9.9GB 분량의 공통 파라미터만 램에 유지하고, 나머지 방대한 데이터는 NVMe 디스크에서 필요할 때마다 스트리밍합니다. 왜 중...

OpenOSINT: Under the Hood of the Next-Generation AI-Powered OSINT Agent

OpenOSINT: AI와 결합된 차세대 오픈소스 정보 수집 에이전트의 작동 원리와 실전 활용법

TL;DR OpenOSINT는 터미널 환경에서 AI(Claude, GPT-4 등)와 대화하며 대상의 정보를 추적하는 오픈소스 정보 수집 에이전트입니다. 16가지 전문 도구를 AI가 스스로 판단하고 연결해 수집 과정을 자동화하며, MCP(Model Context Protocol)를 지원해 다양한 클라이언트 환경에 유연하게 이식할 수 있습니다. ...

pxpipe: Comprehensive Guide to Reducing Token Costs by Rendering AI Agent Context as Images

pxpipe: AI 에이전트의 컨텍스트를 이미지로 변환해 토큰 비용을 줄이는 완벽 가이드

관련 링크 모음 pxpipe GitHub 공식 저장소 TL;DR pxpipe는 방대한 텍스트 컨텍스트를 고밀도 이미지(PNG)로 변환해 LLM에 전달하는 로컬 프록시입니다. 이미지 픽셀 크기를 기준으로 토큰을 과금하는 비전 모델의 가격 정책을 역이용하여, 입력 토큰 비용을 최대 70%까지 절감합니다. 정확한 문...

OfficeCLI: How AI Agents Read and Write Microsoft Office Documents Natively

OfficeCLI: AI 에이전트가 마이크로소프트 오피스 문서를 직접 읽고 쓰는 원리와 구조

[참고 링크] OfficeCLI GitHub 저장소 설치 및 SKILL 기술 문서 도입 및 TL;DR 현대의 AI 에이전트들은 복잡한 파이썬 코드를 작성하고 쿠버네티스 클러스터를 디버깅하는 데는 탁월하지만, 정작 비즈니스 환경의 가장 흔한 언어인 마이크로소프트 오피스 문서를 다루는 데는 큰 어려움을 겪어왔습니다. 계약서를 요약하거나 엑셀...