대량 데이터 테스트 기능

벌크 런 테스트(Bulk Run Test)는 어빌리티(Ability)가 다양한 입력값에 대해 일관된 결과를 산출하는지 검증하는 대량 실행 테스트 기능입니다.

일반적인 기능 점검은 어빌리티 테스트로 충분하지만, 실제 서비스 배포 전에는 대량의 입력 데이터를 활용해 결과의 정확성, 구조, 품질을 함께 확인해야 합니다.

특히 LLM 노드를 사용하는 경우, 동일한 입력 구조에서도 출력 형식이 달라질 수 있기 때문에 벌크 런 테스트는 품질 검증 과정에서 매우 중요합니다.

또한, 단순 테스트 목적 외에도 특정 어빌리티를 활용해 대량 데이터를 일괄 처리할 때에도 이 기능을 활용할 수 있습니다.

• 정확성 검증: 다양한 입력값에 대해 어빌리티가 일관된 출력을 생성하는지 확인합니다.

• 품질 관리: LLM 기반 어빌리티의 응답 구조나 품질을 사전에 점검할 수 있습니다.

• 대량 처리 자동화: 반복적인 입력 데이터를 자동으로 처리해 시간을 절약합니다.

벌크 런 테스트를 위한 준비

1) 어빌리티 버전 생성

테스트할 어빌리티를 완성했다면, 새로운 버전을 생성합니다.

벌크 런 테스트는 반드시 버전이 존재하는 어빌리티만 실행 가능합니다.

2) 데이터 스토리지 생성

벌크 런 테스트에서는 여러 입력값과 그 결과를 자동으로 처리하므로, 입력값과 결과를 저장할 두 개의 스토리지가 필요합니다.

데이터 구조(Data Structure) 탭에서 +Create Data Structure 버튼을 클릭해 데이터 구조를 추가합니다.

정형 데이터(Data Structure) 탭에서 +스토리지 생성(Create Storage) 버튼을 클릭해 데이터 구조를 스토리지로 등록합니다.

실행 방법

1) 벌크 런 생성

• 테스트 생성

  • +벌크 런 생성(Create Bulk Run) 버튼을 클릭하고 테스트가 필요한 어빌리티와 버전을 선택합니다.

  • 테스트의 이름과 설명을 입력하고 생성(Create) 버튼을 클릭합니다.

2) 스토리지 데이터 맵핑

• 인풋 스토리지(Input Storage) 설정

  • 인풋 스토리지 설정(Setup)에서 기존에 생성해 둔 인풋 스토리지를 선택합니다.

  • 어빌리티의 Input 변수와 Storage의 필드를 맵핑하고, 저장(Save) 버튼을 누릅니다.

• 아웃풋 스토리지(Output Storage) 설정

  • 아웃풋 스토리지 설정(Setup)에서 기존에 생성해 둔 아웃풋 스토리지를 선택합니다.

  • 어빌리티의 아웃풋 변수와 스토리지의 필드를 맵핑하고, 저장(Save) 버튼을 누릅니다.

스토리지 설정 시, 변수명은 달라도 되지만, 데이터 타입은 반드시 일치해야 합니다.

• 테스트 실행

  • 우측 상단에 활성화된 테스트 시작(Start Test) 버튼을 클릭해서 테스트를 진행합니다.

• 결과 확인

  • 테스트 완료 후, 실행 결과 탭에서 전체 실행 결과를 확인할 수 있습니다.

  • 결과 데이터를 직접 열람하거나, CSV 파일로 다운로드하여 외부 검증에도 활용할 수 있습니다.