資料集¶

這頁的用途¶

資料集 (Dataset) 用來整理一批「輸入 → 預期輸出」的資料，常用於評估 (Evaluation)：先定義好哪些是輸入欄位、哪些是輸出欄位，填入測試樣本後，就能拿來檢驗 Agent 或工作流程的回答是否符合預期。也能用平台的生成功能，依欄位描述自動產生範例資料。簡單說：資料集就是一份「測驗題庫」，方便反覆驗證成效。

開始前¶

操作步驟¶

1. 從左側資源選單進入「資料集」清單頁，點建立入口（空清單時是有文字的建立按鈕；清單已有項目時是右上角無文字的「+」圖示）開啟建立表單。表單由「名稱」「輸入欄位」「輸出欄位」「描述」「標籤」五塊組成，下圖是前四塊都填好、標籤留空的樣子（剛開啟時兩張表格是空的）：

   

2. 在「名稱」欄輸入名稱。

3. 在「輸入欄位」表格底部中央的紫色「+」鈕新增輸入欄位，於彈出視窗填好欄位的名稱與描述後儲存。這裡取的名字之後要用：評估時的「使用者提示詞」就是用 {{ 欄位名 }} 把每一筆資料帶進去，所以請取簡短、好記、不含空白的名字（例如 question）。

   

4. 在「輸出欄位」表格用同樣方式逐一新增輸出欄位（預期結果）。

5. 視需要在「描述」填寫整個資料集的用途說明。

6. 按右上角的「儲存」按鈕完成建立（見步驟 1 圖右上角）。

   存檔後畫面會直接跳進這個資料集的評估設定頁（網址結尾是 /evaluation，麵包屑最後一層是「評估」），可以馬上開始填入或生成資料項目。這一頁上不會有「開始評估」鈕——因為已經在那一頁了；那顆鈕在「詳細頁」上，用來從詳細頁跳過來。

完整欄位說明¶

主表單¶

新增欄位（彈出視窗）¶

在「輸入欄位」或「輸出欄位」表格按「+」時開啟「新增欄位」對話框（對已建欄位按編輯時，同一個對話框標題為「編輯欄位」），用來定義單一欄位：

資料集詳細頁¶

資料集詳細頁上方有四個頁籤（「一般」、「依賴資源」、「被依賴資源」、「評估」），右上角另有「開始評估」按鈕。「評估」頁籤是歷次評估的紀錄清單，說明見資料集評估。下圖為「一般」頁籤，可看到基本資料與當初設定的輸入／輸出欄位：

評估設定頁¶

點詳細頁右上角的「開始評估」按鈕進入評估設定頁（網址結尾是 /evaluation）。畫面分成兩邊：左邊是「執行設定」卡片，設定「要用什麼來跑這批題目」；右邊是資料集項目清單，也就是題庫本身。左邊卡片右上角的收合鈕可以把它收起來，讓題庫佔滿整個畫面。

上圖是一份還沒有任何題目的資料集：右側清單顯示「找不到更多結果。」，工具列上需要有資料才能用的按鈕（刪除、匯出）也是灰的。整頁的流程是：先在左側設定「用什麼跑」→ 在右側填入題目 → 按頁面右上角（資料集名稱那一列的右端）的「開始執行與評分」啟動。注意那顆鈕不在執行設定卡片的右上角——卡片右上角是收合鈕。

左側「執行設定」卡片的完整欄位、評分器設定與結果怎麼看，都在資料集評估。 這一頁往下只說明右側的題庫怎麼管理。

右側的資料集項目清單¶

這一節講的都是「開始評估」按鈕進去後的那一頁——按那顆鈕只是開設定頁，不會直接開跑評估，可以放心按。

右側就是題庫。上方是「搜尋資料集項目 ID」搜尋框，右邊一排圖示鈕是這份題庫的操作；表格每一列是一筆題目。點任一列會在表格右側打開這一筆的「詳情窗格」：標題是資料集項目 ID，內容由上而下是「輸入欄位」「輸出欄位」「執行輸出」（跟著題目本身的順序：先看題目，再看標準答案，最後才是這次跑出來的結果），長內容不再受表格欄寬截斷；窗格和項目表格把右側題庫區對半分（不是整個畫面對半分——左邊還有「執行設定」卡片），中間的分隔線可左右拖曳、位置會被記住，右上角標題列還有 「執行」（等同下方單筆試跑）、 選單（「詳細資料」「編輯」「刪除」——「詳細資料」會把這一筆的資訊頁另開分頁）與 「關閉」：

工具列的圖示鈕（沒有項目時，需要選取或需要有資料的按鈕會呈灰色停用；灰掉時滑過去只會看到按鈕名稱、不會說明為什麼不能按，原因一律是「沒勾選任何項目」或「沒有資料」）：

填入題目：新增、生成或從儲存庫取代¶

點右側工具列紫色的 鈕會展開一個選單，三個選項：

新增資料集項目¶

逐筆手動輸入題目。對話框中央是一張表格，欄名就是這份資料集的輸入與輸出欄位（下圖為 question 與 expected_answer）；剛開啟時表格是空的，按底部中央紫色的「+」一列一列加上去，一次可以排到 100 列，最後按右上角「儲存」把整批送出。

填寫單筆項目的內容¶

按「+」或 後開啟的對話框，會依這份資料集的欄位定義，一個欄位一個輸入框（欄位標籤就是資料集定義的欄位名）：

填完按「儲存」回到上一層表格（這一步還沒寫進題庫）。按「放棄」是丟掉這一列，但會先跳出一個「放棄修改／你所做的修改將不會被保存。」的確認框：按「放棄」才真的丟掉，按「取消」是回到剛才那一列繼續編輯。

有幾筆沒存成功時：重試對話框¶

按「儲存」後，如果有部分列沒能寫入，平台不會只丟一句錯誤，而是跳出一個對話框，沒存成功的那幾列會原封不動保留，可以直接重試：

以儲存庫內容取代目前資料集項目¶

已經有一份整理好的題庫檔案（例如先前匯出的檔案，或自己用 Excel 整理後另存的檔案）時，用這條路一次匯入。它是「取代」不是「附加」：送出前會先跳出「取代現有的資料集項目」確認對話框（內文「上傳的檔案將取代目前的資料集項目。請確認是否要繼續。」），按「確認」後目前的項目會全部被檔案內容換掉。

匯入是在背景執行的，跑完後才會顯示結果；若有部分列沒匯入成功，會跳出一個對話框標示這次有幾筆沒成功。匯入期間請留在這一頁——離開頁面平台就不再追蹤這次的進度，會看不到結果（實際匯入仍會在背景跑完）。

生成資料集項目¶

沒有現成題庫時，讓大型語言模型依指示直接產生一批題目。對話框的欄位：

對話框右上角有「重設」（清空回預設）、「放棄」與「產生」。按「放棄」會先跳出「放棄修改／你所做的修改將不會被保存。」的確認框，要再按一次「放棄」才會關掉——就算一個欄位都沒動也一樣會問（匯出對話框也是這個行為）。按「產生」後模型要跑一會兒（實測生成 2 筆約 20 秒，期間沒有明顯進度提示），跑完會跳出「選擇資料集項目」對話框，提示「請勾選要新增到資料集的資料集項目：」並列出這次生成的內容——勾選要留下的那幾筆，再按「新增」才會真的存進題庫（每列最右邊的展開鈕可以看完整內容，左邊那個是勾選框，表頭那個是全選；右上角「放棄」則整批不要）。預設一筆都沒有勾，而「新增」在零勾選時照樣按得下去——什麼都沒勾就按，題庫不會有任何變化，很容易誤以為生成失敗。這一步等於也是在存檔，所以同樣可能跳出重試對話框。

單筆試跑¶

題庫填好、左側「執行設定」卡片也設定好之後，可以先挑一筆試跑，確認提示詞寫對了再跑整批：

1. 把滑鼠移到右側清單中要跑的那一列上。
2. 該列右側會多出 「執行」（這顆是滑鼠移過去才出現的，要按的就是它）與 選單（「詳細資料」「編輯」「刪除」，單筆題目要改或要刪就從這裡）。點「執行」。（點列上其他地方是開詳情窗格——窗格標題列也有同一顆「執行」，在窗格裡按效果相同。）

3. 平台會用左側「執行設定」目前的設定跑這一筆：「使用者提示詞」裡的 {{ 欄位名 }} 會換成這一列的實際內容，送給所選的受測對象。欄位名就寫資料集定義的名字，例如題庫的輸入欄位叫 question 時，提示詞可以寫成：

   你是人資助理。請回答以下問題：{{ question }}
   

4. 執行中該鈕會轉圈、提示文字變成「執行中 ...」；通常幾秒到十幾秒，跑完後同一列的「執行輸出」欄就會填入這次的實際回答，可與旁邊的「輸出欄位」（預期輸出）逐筆對照。

5. 需要重跑就再按一次；要換模型或改提示詞，就改左側「執行設定」再按。

匯出資料集項目至儲存庫¶

題庫填好、或跑完評估想留存時，可以把資料集項目匯出成檔案存到儲存庫 (Storage)。

1. 在評估設定頁右側資料集項目清單的工具列，點 「將資料集項目匯出至儲存庫」。
2. 選擇要存到哪個「儲存庫」。點這個欄位會再開一個「儲存庫」對話框（搜尋框＋名稱／狀態／最後更新表格），要點該列最左邊的圓形選鈕再按右上角「儲存」才算選好。別點資源「名稱」——那是連結，會離開匯出對話框、跳去該儲存庫的詳細頁，得整個重來。
3. 視需要選擇「資料夾」（同樣是另一個選取對話框，選法一樣）；選了資料夾之後才會出現「檔案名稱」欄位，這時就必須填檔名。
4. 選擇「格式」（JSONL 或 CSV）。
5. 點「儲存」開始匯出，完成後會顯示「資料集項目已匯出」對話框。

欄位下方的「檔案路徑」會即時顯示這次會寫進去的完整路徑；沒指定資料夾時顯示「將自動產生檔名。」。

匯出完成的對話框會顯示「已成功匯出 N 筆資料集項目至 <路徑>」，並提供兩個按鈕：「下載」直接把檔案存到本機，「開啟儲存庫」在新分頁打開該儲存庫的檔案清單。若檔案已匯出但自動下載失敗，畫面會提示到儲存庫手動下載。

使用效果¶

資料集本身不會執行，它的價值在於「拿去評估」。完整走完一輪是五步：

1. 點詳細頁右上角的「開始評估」按鈕進入評估設定頁。
2. 在右側用紫色 填入題目——逐筆「新增資料集項目」、用「生成資料集項目」請模型自動產生，或「以儲存庫內容取代目前資料集項目」整批匯入。
3. 在左側「執行設定」卡片指定要受測的大型語言模型、Agent 或工作流程，並寫好「使用者提示詞」（用 {{ 欄位名 }} 代入每筆題目的輸入）。
4. 先挑一列按 「執行」單筆試跑，確認提示詞寫對了：該列的「執行輸出」會填入實際回答，與「輸出欄位」（預期輸出）並排對照。
5. 確認沒問題後，按頁面右上角的「開始執行與評分」跑整批並加上評分器，得到通過率報表——見資料集評估。

想留存題庫或某一輪的結果，用工具列的 匯出到儲存庫。

簡單說：填入「輸入／預期輸出」→ 設定受測對象 → 批次執行與評分 → 看通過率與逐筆評分理由，用來驗證 Agent／工作流程的回答是否符合預期。要把受測對象建好，見大型語言模型（評估設定頁的預設執行器類型就是它）、Agent 與工作流程。

下一步¶

• Agent：可用資料集評估其回答品質。
• 樣板 (Template)：搭配資料集設計可重複使用的提示。
• 工作流程：同樣可用資料集驗證輸出是否符合預期。
• 資料集評估：設定執行器與評分器、批次跑完整份題庫並看通過率。