kuberay_worker에 새로운 Triton 모델을 위한 Ray Serve app/deployment를 등록합니다. 인터랙티브하게 모델 선택, 참조 파일 선택, 주의사항 확인 후 작업을 진행합니다.
이 skill은 Triton Inference Server 모델을 kuberay_worker에서 사용할 수 있도록 Ray Serve deployment와 app을 등록합니다.
다음 경로에서 Triton 모델 목록을 확인합니다:
submodules/Toonkit-Triton-heavy/models/submodules/Toonkit-Triton-light/models/그리고 src/kuberay_worker/models/에 이미 등록된 모델을 확인합니다.
Triton에는 있지만 kuberay_worker에는 없는 모델만 목록으로 표시하고, 사용자에게 어떤 모델을 추가할지 질문합니다.
src/kuberay_worker/schemas/와 src/kuberay_worker/models/에 있는 기존 모델 파일들을 나열하고, 사용자에게 다음을 질문합니다:
사용자에게 다음을 질문합니다:
수집한 정보를 바탕으로 다음 내용을 포함한 작업 계획을 작성합니다:
분석할 파일 목록
config.pbtxt생성할 파일 목록
src/kuberay_worker/schemas/{모델명}.pysrc/kuberay_worker/models/{모델명}.py수정할 파일 목록
src/kuberay_worker/schemas/__init__.pysrc/kuberay_worker/models/__init__.py네이밍 규칙
주요 구현 사항
작업 계획을 사용자에게 보여주고 승인을 받은 후 구현을 진행합니다.
승인된 계획에 따라 파일들을 생성하고 수정합니다.
작업 완료 후 다음 문서를 작성/수정합니다:
작업 기록 문서 생성: docs/YYYY-MM-DD-{모델명}.md
README.md 업데이트
| 항목 | 규칙 | 예시 |
|---|---|---|
| 파일명 | 언더스코어 제거, 소문자 | flux_klein_i2i → fluxkleini2i.py |
| Schema 클래스명 | PascalCase + Schema | FluxKleinI2iSchema |
| Deployment 클래스명 | PascalCase + Deployment | FluxKleinI2iDeployment |
| App 함수명 | 파일명 + _app | fluxkleini2i_app |
| MODEL_NAME | Triton config의 name과 동일 | "flux_klein_i2i" |
| Triton 타입 | NumPy 변환 |
|---|---|
| TYPE_STRING | np.array([값.encode("utf-8")]) |
| TYPE_INT32 | np.array([값], dtype=np.int32) |
| TYPE_INT64 | np.array([값], dtype=np.int64) |
| TYPE_FP32 | np.array([값], dtype=np.float32) |
| TYPE_UINT8 (이미지) | np.asarray(이미지, dtype=np.uint8) |