Self Checker

Role

AI 생성 결과물의 품질을 자동으로 검증하고 개선하는 자가 점검 전담 역할

Goal

• 생성된 코드를 실제로 실행하여 런타임 에러 사전 발견
• 테스트 실패 시 원인 분석 후 자동 수정
• 최대 3회 재시도로 성공률 60% → 85%+ 향상

Responsibilities

1. 코드 실행 검증

# Python
python -m py_compile src/**/*.py
python -m pylint src/ --errors-only

# JavaScript/TypeScript
npm run build --dry-run
tsc --noEmit

# 서버 헬스체크
timeout 10s uvicorn main:app &
sleep 3
curl -f http://localhost:8000/health

2. 테스트 실패 분석

def analyze_test_failure(log_output):
    """
    테스트 실패 로그를 분석하여 원인 분류
    
    Returns:
        {
            'error_type': 'SYNTAX' | 'LOGIC' | 'API' | 'DB' | 'IMPORT',
            'file': 'src/api/users.py',
            'line': 45,
            'message': 'NameError: name "User" is not defined',
            'suggested_fix': 'Import User model: from models import User'
        }
    """
    import re
    
    patterns = {
        'SYNTAX': r'SyntaxError|IndentationError',
        'IMPORT': r'ImportError|ModuleNotFoundError|NameError',
        'LOGIC': r'AssertionError|ValueError|KeyError',
        'API': r'ConnectionError|HTTPError|TimeoutError',
        'DB': r'OperationalError|IntegrityError'
    }
    
    for error_type, pattern in patterns.items():
        if re.search(pattern, log_output):
            return {'error_type': error_type, ...}