Nodease

응답 노드에서 한글, 대문자, 공백, 중복 이름처럼 JSON 필드로 안전하지 않은 값을 입력해도 편집 화면에서는 저장할 수 있어 실행 단계에서 오류가 발생했습니다.

프론트 입력 규칙과 Workflow Engine의 데이터 규칙이 분리되어 있었고, 사용자에게 허용 형식과 길이를 안내하지 않았습니다.

영문 소문자로 시작하고 소문자·숫자·언더바만 허용하는 규칙과 최대 32자 제한을 프론트와 Pydantic 스키마에 동일하게 적용했습니다. 중복 이름도 입력 즉시 검사해 오류 이유를 필드 아래에 표시했습니다.

잘못된 응답 구조가 실행 엔진에 전달되기 전에 편집 화면에서 바로 수정할 수 있고, 클라이언트와 서버가 같은 계약을 사용하게 됐습니다.

Judge가 확신하지 못한 요청에서 사용자가 지정한 기본 대체 모델을 그대로 선택하면 보안 검토처럼 높은 추론 수준이 필요한 작업도 저가 모델로 처리될 수 있었습니다.

대체 모델 선택이 현재 요청의 필수 능력과 후보 모델 프로필을 다시 확인하지 않고 설정 순서만 따랐습니다.

요청의 요구 수준, 후보 모델의 능력 프로필과 구조적 조건을 다시 검사해 조건을 만족하는 안전한 모델을 우선 선택했습니다. 첫 번째 모델과 겹치지 않는 두 번째 대체 모델도 같은 방식으로 결정하고 회귀 테스트를 추가했습니다.

저확신 상황에서도 높은 요구 수준의 요청은 `gpt-5.4`, 다음 대체 모델은 `gpt-5-mini`처럼 능력 조건을 충족하는 경로로 닫히게 됐습니다.

화면에서 모델이 자동 선택되는 것만으로는 실제 비용이 줄었는지, 저가 모델 때문에 품질이 떨어지지 않았는지 판단할 수 없었습니다.

모델별 가격과 실행 결과, JSON 계약, 독립 품질 평가를 같은 입력 세트로 비교하는 재현 가능한 실험 도구가 없었습니다.

기업 업무 요청 80건을 자동 라우팅과 고가·중간·저가 고정 모델로 각각 실행하고, 처리 비용·시간·계약 통과 여부를 저장한 뒤 별도 Judge가 모델명을 모르는 상태에서 품질을 평가하도록 구성했습니다.

자동 라우팅은 총 $0.350319로 고가 모델 고정 대비 $1.367401을 절감했습니다. 평균 품질은 85.8점으로 중간 모델 고정보다 0.99점 높고 저가 모델 고정보다 26.55점 높았으며 JSON 계약은 100% 통과했습니다.