Llm App Builder

워크플로우

Phase 1: 준비 (오케스트레이터 직접 수행)

1. 사용자 입력에서 추출한다:
   • 앱 목적: 무엇을 하는 LLM 앱인가
   • 데이터 소스: RAG에 사용할 문서/데이터 (선택)
   • LLM 모델: 사용할 모델 (기본: Claude/GPT-4o)
   • 배포 환경: API/웹앱/챗봇/내부 도구
   • 예산: 월간 API 비용 예산
   • 제약 조건 (선택): 보안, 규정, 성능 요구사항
2. _workspace/ 디렉토리를 프로젝트 루트에 생성한다
3. 입력을 정리하여 _workspace/00_input.md에 저장한다
4. _workspace/src/ 디렉토리를 생성한다
5. 요청 범위에 따라 실행 모드를 결정한다

Phase 2: 팀 구성 및 실행

작업 1a(프롬프트)와 1b(RAG)는 병렬 실행한다.

팀원 간 소통 흐름:

• prompt 완료 → rag에게 컨텍스트 주입 포맷 전달, eval에게 기대 출력 전달
• rag 완료 → eval에게 검색 테스트 데이터 전달, deploy에게 벡터DB 인프라 요구사항 전달
• eval 완료 → optimizer에게 성능 베이스라인 전달, prompt에게 약점 피드백
• optimizer 완료 → deploy에게 캐시/라우팅 설정 전달
• deploy는 모든 컴포넌트를 통합하여 프로덕션 배포 구성 완성

Phase 3: 통합 및 최종 산출물

1. _workspace/src/의 코드가 실행 가능한지 확인한다
2. 평가 메트릭이 기준을 충족하는지 확인한다
3. 배포 설정이 완전한지 검증한다
4. 최종 요약을 사용자에게 보고한다:
   • 프롬프트 설계 — 01_prompt_design.md
   • RAG 파이프라인 — 02_rag_pipeline.md
   • 평가 프레임워크 — 03_eval_framework.md
   • 최적화 전략 — 04_optimization.md
   • 배포 설정 — 05_deploy_config.md
   • 소스코드 — src/

작업 규모별 모드

RAG 불필요 시: 사용자가 외부 데이터 소스가 없다고 명시하면 rag 에이전트를 건너뛴다.

기존 파일 활용: 사용자가 기존 프롬프트, RAG 설정, 코드 등을 제공하면, 해당 파일을 _workspace/의 적절한 번호 위치에 복사하고 해당 단계의 에이전트는 건너뛴다. 예: 기존 프롬프트 제공 → _workspace/01_prompt_design.md로 복사 → prompt 건너뛰고 나머지 에이전트만 투입.

데이터 전달 프로토콜

에러 핸들링

테스트 시나리오

정상 흐름

프롬프트: "회사 내부 문서를 기반으로 직원 Q&A 챗봇을 만들어줘. Confluence 문서 500개 정도야. 월 예산 $200" 기대 결과:

• 프롬프트: Q&A용 시스템 프롬프트, 소스 인용 강제, 환각 방지 가드레일
• RAG: Confluence → 마크다운 변환 → 시맨틱 청킹 → text-embedding-3-small → Chroma
• 평가: 20개 골든 Q&A 셋, Recall@5, 충실도 LLM-as-Judge
• 최적화: 시맨틱 캐싱(예상 히트율 40%), 소형 모델 라우팅(단순 질문)
• 배포: FastAPI + Docker + 비용 상한 $200/월

기존 파일 활용 흐름

프롬프트: "이 RAG 코드를 기반으로 평가 프레임워크와 최적화만 해줘" + RAG 코드 첨부 기대 결과:

• 기존 코드를 _workspace/src/에 복사, RAG 설계를 _workspace/02_rag_pipeline.md로 복사
• rag 건너뛰고 eval + optimizer + deploy 투입
• prompt는 기존 코드에서 추출

에러 흐름

프롬프트: "AI 앱 만들어줘" (목적/데이터 불명확) 기대 결과:

• 사용자에게 앱 목적과 데이터 소스 확인 요청
• RAG 필요 여부 판단을 위한 질문
• 확인 후 적절한 모드로 파이프라인 진행

에이전트별 확장 스킬

에이전트의 도메인 전문성을 강화하는 확장 스킬: