バルクデータのテスト機能

Bulk Run Test は、さまざまな入力値に対して Ability が一貫した結果を生成するかを検証する機能です。

Ability Test による通常テストで基本的な動作確認は可能ですが、本番環境へデプロイする前に、大量の入力データを用いて結果の正確性、構造、品質を検証する必要があります。

特に LLM ノードを使用する場合、入力構造が同じでも出力形式が変動する可能性があるため、バルク実行テストは品質保証において重要なステップになります。

また、この機能はテスト目的にとどまらず、特定の Ability を使って大規模データセットをバッチ処理する用途にも利用できます。

• 正確性の検証: 多様な入力に対して Ability が一貫した出力を生成することを保証します。

• 品質管理: LLM ベースの Ability からの応答の構造と品質を事前に確認できます。

• 自動バルク処理: 反復的な入力データを自動処理し、大幅な時間節約が可能です。

バルク実行テストの準備

1) Ability バージョンを作成

Ability が完成したら、🔗Version を作成します。

Bulk Run Test は、既存のバージョンを持つ Ability に対してのみ実行できます。

2) データストレージを作成

Bulk Run Test は複数の入力と出力を自動処理するため、入力データ用と出力データ用の 2 つの 🔗ストレージ（Storages） が必要です。

Data Structure タブで +Create Data Structure をクリックし、新しい構造を作成します。

次に、Structured Data タブで +Create Storage をクリックし、構造をストレージとして登録します。

実行方法

1) Bulk Run を作成

• テストを作成

  • +Create Bulk Run ボタンをクリックし、テストしたい Ability とバージョンを選択します。

  • テストの名前と説明を入力し、Create をクリックします。

2) ストレージデータをマッピング

• Input ストレージ設定

  • Input Storage Setup で、事前作成した Input ストレージを選択します。

  • Ability の入力変数を対応するストレージフィールドにマッピングし、Save をクリックします。

• Output ストレージ設定

  • Output Storage Setup で、事前作成した Output ストレージを選択します。

  • Ability の出力変数をストレージフィールドにマッピングし、Save をクリックします。

ストレージ設定では変数名が異なる場合がありますが、データ型は完全に一致している必要があります。

• テスト実行

  • 右上の Start Test ボタンをクリックしてテストを開始します。

• 結果の確認

  • テスト完了後、Execution Result タブで結果全体を確認できます。

  • 結果データを直接開くか、CSV としてダウンロードして外部で検証・レビューできます。