資料集¶

這頁能幫你做什麼¶

資料集 (Dataset) 用來整理一批「輸入 → 預期輸出」的資料，常用於評估 (Evaluation)：你定義好哪些是輸入欄位、哪些是輸出欄位，填入測試樣本後，就能拿來檢驗 Agent 或工作流程的回答是否符合預期。也能用平台的生成功能，依欄位描述自動產生範例資料。簡單說：資料集是你的「測驗題庫」，方便反覆驗證成效。

開始前¶

操作步驟¶

1. 從左側資源選單進入「資料集」清單頁，點建立入口（空清單時是有文字的建立按鈕；清單已有項目時是右上角無文字的「+」圖示）開啟建立表單。表單由「名稱」「輸入欄位」「輸出欄位」「描述」「標籤」五塊組成，下圖是前四塊都填好、標籤留空的樣子（剛開啟時兩張表格是空的）：

   

2. 在「名稱」欄輸入名稱。

3. 在「輸入欄位」表格底部中央的紫色「+」鈕新增輸入欄位，於彈出視窗填好欄位的名稱與描述後儲存。這裡取的名字之後要用：評估時的「使用者提示詞」就是用 {{ 欄位名 }} 把每一筆資料帶進去，所以請取簡短、好記、不含空白的名字（例如 question）。

   

4. 在「輸出欄位」表格用同樣方式逐一新增輸出欄位（預期結果）。

5. 視需要在「描述」填寫整個資料集的用途說明。

6. 按右上角的「儲存」按鈕完成建立（見步驟 1 圖右上角）。

   存檔後畫面會直接跳進這個資料集的「評估」頁（網址結尾是 /evaluate，麵包屑最後一層是「評估」），可以馬上開始填入或生成資料項目。這一頁上不會有「評估」按鈕——你已經在那一頁了；那顆按鈕在「詳細頁」上，用來從詳細頁跳過來。

完整欄位說明¶

主表單¶

新增欄位（彈出視窗）¶

在「輸入欄位」或「輸出欄位」表格按「+」時開啟「新增欄位」對話框（對已建欄位按編輯時，同一個對話框標題為「編輯欄位」），用來定義單一欄位：

資料集詳細頁¶

資料集詳細頁上方有三個頁籤（「一般」「依賴資源」「被依賴資源」），右上角另有「評估」按鈕。下圖為「一般」頁籤，可看到基本資料與當初設定的輸入／輸出欄位：

評估頁¶

點詳細頁右上角的「評估」按鈕進入評估頁。畫面分成兩邊：左邊是「輸入」卡片，設定「要用什麼來跑這批題目」；右邊是資料集項目清單，也就是你的題庫本身。左邊卡片右上角的收合鈕可以把它收起來，讓題庫佔滿整個畫面。

上圖是一份還沒有任何題目的資料集：右側清單顯示「找不到更多結果。」，工具列上需要有資料才能用的按鈕（刪除、匯出）也是灰的。整頁的流程是：先在左側設定「用什麼跑」（見下方欄位說明）→ 在右側填入題目 → 逐筆執行評估，結果會出現在右側表格的「執行輸出」欄。

「輸入」卡片欄位¶

執行器類型怎麼選¶

覆寫這次評估要用的 LLM 參數¶

選好「大型語言模型」後，欄位右側的 鈕（滑鼠移上去顯示「設定」）會開啟「設定 」對話框（標題帶的是資源名稱，例如「設定 default-llm」，不是模型名稱），讓你只為這次評估調整模型參數。對話框打開時只看得到一個「將輸出轉換為繁體中文」開關，溫度、Top P、Top K、最大 Token、思考功能都收在下方的「進階設定」摺疊區塊裡，要自己點開（實際出現哪些取決於該 LLM 的類型）。這個對話框沒有「儲存」或「放棄」鈕，改完即時生效，看完按右上角的 X 關掉就好。這裡不會動到 LLM 資源本身，也不會出現名稱、類型、模型、地區、憑證、系統提示詞這些屬於資源設定的欄位——各參數的意義見 大型語言模型 (LLM)。

右側的資料集項目清單¶

右側就是你的題庫。上方是「搜尋資料集項目 ID」搜尋框，右邊一排圖示鈕是這份題庫的操作；表格每一列是一筆題目：

工具列的圖示鈕（沒有項目時，需要選取或需要有資料的按鈕會呈灰色停用）：

填入題目：新增、生成或從儲存庫取代¶

點右側工具列紫色的 鈕會展開一個選單，三個選項：

新增資料集項目¶

逐筆手動輸入題目。對話框中央是一張表格，欄名就是這份資料集的輸入與輸出欄位（下圖為 question 與 expected_answer）；剛開啟時表格是空的，按底部中央紫色的「+」一列一列加上去，一次可以排到 100 列，最後按右上角「儲存」把整批送出。

填寫單筆項目的內容¶

按「+」或 後開啟的對話框，會依這份資料集的欄位定義，一個欄位一個輸入框（欄位標籤就是你當初取的欄位名）：

填完按「儲存」回到上一層表格（這一步還沒寫進題庫）。按「放棄」是丟掉這一列，但會先跳出一個「放棄修改／你所做的修改將不會被保存。」的確認框，再按一次「放棄」才會關掉。

有幾筆沒存成功時：重試對話框¶

按「儲存」後，如果有部分列沒能寫入，平台不會只丟一句錯誤，而是跳出一個對話框，把沒存成功的那幾列原封不動留給你，可以直接重試：

以儲存庫內容取代目前資料集項目¶

已經有一份整理好的題庫檔案（例如先前匯出的檔案，或自己用 Excel 整理後另存的檔案）時，用這條路一次匯入。它是「取代」不是「附加」：送出前會先跳出「取代現有的資料集項目」確認對話框（內文「上傳的檔案將取代目前的資料集項目。請確認是否要繼續。」），按「確認」後目前的項目會全部被檔案內容換掉。

匯入是在背景執行的，跑完後才會顯示結果；若有部分列沒匯入成功，會跳出一個對話框告訴你這次有幾筆沒成功。匯入期間請留在這一頁——離開頁面平台就不再追蹤這次的進度，你會看不到結果（實際匯入仍會在背景跑完）。

生成資料集項目¶

沒有現成題庫時，讓大型語言模型依你的指示直接產生一批題目。對話框的欄位：

對話框右上角有「重設」（清空回預設）、「放棄」與「產生」。按「放棄」會先跳出「放棄修改／你所做的修改將不會被保存。」的確認框，要再按一次「放棄」才會關掉——就算你一個欄位都沒動也一樣會問（匯出對話框也是這個行為）。按「產生」後模型要跑一會兒，跑完會跳出「選擇資料集項目」對話框，提示「請勾選要新增到資料集的資料集項目：」並列出這次生成的內容——勾選要留下的那幾筆，再按「新增」才會真的存進題庫（每列最右邊的展開鈕可以看完整內容，左邊那個是勾選框；右上角「放棄」則整批不要）。這一步等於也是在存檔，所以同樣可能跳出重試對話框。

執行評估¶

題庫填好、左側「輸入」卡片也設定好之後，就可以跑了。評估是逐筆執行的：

1. 把滑鼠移到右側清單中要跑的那一列上。
2. 該列右側會出現三顆鈕：「評估」（要按的是這顆）、 選單（裡面是「詳細資料」「編輯」「刪除」，單筆題目要改或要刪就從這裡）、以及最右邊的 展開這一列。點「評估」。
3. 平台會用左側「輸入」卡片目前的設定跑這一筆：「使用者提示詞」裡的 {{ 欄位名 }} 會換成這一列的實際內容，送給你選的 LLM 或 Agent。
4. 執行中該鈕會轉圈、提示文字變成「評估中...」；跑完後同一列的「執行輸出」欄就會填入這次的實際回答，可與旁邊的「輸出欄位」（預期輸出）逐筆對照。
5. 需要重跑就再按一次；要換模型或改提示詞，就改左側「輸入」卡片再按。

匯出資料集項目至儲存庫¶

題庫填好、或跑完評估想留存時，可以把資料集項目匯出成檔案存到儲存庫 (Storage)。

1. 在評估頁右側資料集項目清單的工具列，點 「將資料集項目匯出至儲存庫」。
2. 選擇要存到哪個「儲存庫」。
3. 視需要選擇「資料夾」，並在「檔案名稱」填檔名（選了資料夾就必須填）。
4. 選擇「格式」（JSONL 或 CSV）。
5. 點「儲存」開始匯出，完成後會顯示「資料集項目已匯出」對話框。

欄位下方的「檔案路徑」會即時顯示這次會寫進去的完整路徑；沒指定資料夾時顯示「將自動產生檔名。」。

匯出完成的對話框會告訴你「已成功匯出 N 筆資料集項目至 <路徑>」，並提供兩個按鈕：「下載」直接把檔案存到你的電腦，「開啟儲存庫」在新分頁打開該儲存庫的檔案清單。若檔案已匯出但自動下載失敗，畫面會提示你到儲存庫手動下載。

使用效果¶

資料集本身不會執行，它的價值在於「拿去評估」。完整走完一輪是四步：

1. 點詳細頁右上角的「評估」按鈕進入評估頁。
2. 在右側用紫色 填入題目——逐筆「新增資料集項目」、用「生成資料集項目」請模型自動產生，或「以儲存庫內容取代目前資料集項目」整批匯入。
3. 在左側「輸入」卡片指定要受測的 LLM 或 Agent，並寫好「使用者提示詞」（用 {{ 欄位名 }} 代入每筆題目的輸入）。
4. 對每一列按 「評估」執行，該列的「執行輸出」就會填入實際回答，與你填的「輸出欄位」（預期輸出）並排對照，看得出哪幾題答得不對。

想留存這一輪的結果，用工具列的 匯出到儲存庫。

簡單說：填入「輸入／預期輸出」→ 逐筆執行 → 對照「執行輸出」與「輸出欄位」，用來驗證 Agent／工作流程的回答是否符合預期。要把受測對象建好，見 Agent 與工作流程。

下一步¶

• Agent：可用資料集評估其回答品質。
• 樣板 (Template)：搭配資料集設計可重複使用的提示。
• 工作流程：同樣可用資料集驗證輸出是否符合預期。