跳轉到
版本 v1.0.34

儲存庫

這頁的用途

儲存庫 (Storage) 建立一個檔案空間,用來放工作流程 (Workflow) 與 Agent 會用到或產生的檔案,例如上傳的文件、處理後的輸出、資料集來源檔等。建立後,相關功能(如載入器 (Loader)、Agent 對話的檔案)就能選用這個儲存庫存取檔案。

檔案要放在哪裡由「類型」決定:預設放在平台自己的空間,填個名稱就能用;Amazon S3 放在你自有的 S3 儲存貯體,適合檔案本來就在自家 AWS、或有法遵要求必須留在自己帳戶裡的情況。

檔案的上傳、瀏覽與管理是在建立後的儲存庫詳細頁進行,不在建立表單裡。

開始前

前置需求

  • 「預設」類型不需要任何外部資源,填一個名稱即可。
  • 「Amazon S3」類型需要先有一個 AWS 類型的連結器(注意連結器清單裡另有一個叫「Amazon S3」的類型,名字很像,但那個不能用在這裡——「連結器」挑選器只列 AWS 型的,所以你有一個「Amazon S3」連結器卻在清單裡找不到它是正常的),而且那組憑證要能在你指定的儲存貯體與字首下讀寫(建立儲存庫時平台會實際驗證)。另外,若要用平台的檔案瀏覽器上傳檔案,該儲存貯體需要一條允許 PUT 的 CORS 規則。

操作步驟

  1. 從左側資源選單進入「儲存庫」清單頁,點建立入口(空清單時是有文字的建立按鈕;清單已有項目時是右上角無文字的「+」圖示)開啟建立表單。

    儲存庫建立表單,欄位為「名稱」、「標籤」與「類型」,類型已帶入「預設」

  2. 在「名稱」欄輸入容易辨識的名稱(例如 產品手冊原始文件)。

  3. 確認「類型」。要用平台自己的空間就維持預設值「預設」;檔案要放自家 S3 則改選「Amazon S3」,再填出現的三個欄位(見 Amazon S3)。
  4. 按右上角的「儲存」按鈕完成建立(見上方圖右上角)。
  5. 建立後進入該儲存庫的詳細頁,切到「檔案」頁籤即可上傳與管理檔案。

    儲存庫詳細頁的「檔案」頁籤,含搜尋框、工具列圖示與檔案列表

完整欄位說明

主表單先填共通的「名稱」「標籤」「類型」,選了「Amazon S3」才會再出現該類型專屬的三個欄位。

共同欄位

欄位 必填 預設 說明
名稱 儲存庫的識別名稱。最多 64 個字,不可用 default 開頭。
標籤 分類用的小標,貼上後可在清單頁用「標籤」把同一群資源一次篩出來。填法與數量/長度限制見「標籤」欄位
類型 預設 檔案實際存放的位置,見下方兩節。建立後不能改(編輯表單裡這一欄是停用的)。

預設

適合:多數情況。不必準備 AWS 資源,建立完就能上傳檔案;資料放在平台的資料儲存貯體,由平台管理。

沒有專屬欄位——選「預設」時表單就只有上面三欄。

Amazon S3

適合:檔案本來就放在自家 S3、或有法遵要求資料必須留在自己的 AWS 帳戶裡。平台只保存「怎麼連過去」的設定,檔案本體始終在你的儲存貯體內。

選「Amazon S3」後多出三個欄位,三個都必填,而且建立後都不能改。要留意表單這一端完全不檢查格式:貯體名稱填大寫、底線或中文,字首填 /、中文或含空白的字串,畫面上都不會出現任何錯誤訊息——合不合法是按下「儲存」時由平台實際連去 AWS 驗證才知道。所以填完務必按儲存確認建得起來,不要只看畫面沒紅字就當作填對了。

「Amazon S3」類型的儲存庫建立表單,欄位為名稱、標籤、類型(Amazon S3)、連結器(示範 AWS 連結器)、S3 儲存貯體、S3 字首

欄位 必填 預設 說明
連結器 存取儲存貯體用的 AWS 連結器。清單只列 AWS 類型的連結器,其他類型選不到。那組憑證必須能在下面填的字首之下讀寫——建立儲存庫時平台會實際往那個字首寫一次來驗證,權限不足就建不起來(訊息長什麼樣見下方)。
S3 儲存貯體 空白 你自有的 S3 儲存貯體名稱。不可以填平台自己的儲存貯體。 要用平台的檔案瀏覽器上傳檔案時,該儲存貯體需要一條允許 PUT 的 CORS 規則。
S3 字首 空白 這個儲存庫在該貯體裡的根字首(相當於一個資料夾路徑)。建立成功時右下角會出現「建立成功!」。物件都會放在這個字首之下,所以不能指向貯體的根目錄。同一個貯體裡,各儲存庫的字首不可互相包含——已經有 docs 了,就不能再指定 docsdocs/archive

權限不夠時,錯誤訊息只閃幾秒

按下「儲存」之後,平台會拿那組憑證去你填的字首下實際寫一個物件。權限不夠時不會留在畫面上:畫面停在建立表單、欄位一個紅字都沒有,只有右下角閃過一則幾秒就消失的訊息,而且是原封不動的英文 AWS 錯誤(會出現 AccessDenieds3:PutObject 與那組憑證對應的 IAM 使用者名稱)。看起來像「按了沒反應」時,多按一次並盯著右下角,把那句話整段抄給你的 AWS 管理員最快——通常是那組憑證少了在該貯體字首下讀寫的權限。這種情況不會留下一筆半成品的儲存庫,補好權限重新建立即可。

字首請用英數,不要用中文

表單其實收得下中文字首,但除非你確定不需要在 AWS 端按字首分權限,否則字首只用英數與 - _ /。原因是 AWS 那邊用來寫「誰可以動哪些檔案」的權限規則(IAM 政策)不接受非 ASCII 字元;字首取了中文名,之後想請 AWS 管理員「只開放這個字首給某個系統讀」就做不到了,得整個重建一份儲存庫。

S3 型的三個欄位是一次定生死

「類型」「連結器」「S3 儲存貯體」「S3 字首」建立後都不能修改(編輯表單裡是停用的)。換貯體或換字首只能重新建一個儲存庫,再把用到它的載入器、Agent 改指到新的那一個。

儲存庫詳細頁

儲存庫的重點不在建立表單,而在建立後的詳細頁。詳細頁上方有四個頁籤:「一般」「檔案」「依賴資源」「被依賴資源」。兩種類型的詳細頁長得一樣,差別只在「一般」頁籤列出的位置欄位。

「檔案」頁籤=檔案管理

「檔案」頁籤是這個儲存庫的檔案管理畫面,可上傳、瀏覽、下載、移動與刪除檔案(沒有改名功能):

儲存庫詳細頁的「檔案」頁籤,含搜尋框、工具列圖示(重新整理、下載、移動、刪除、新增),以及一筆檔案 product-faq.md

檔案列表以表格呈現,欄位為「名稱」「類型」「大小」「最後更新」,每一列最左邊有勾選框。剛建好的儲存庫還沒有任何檔案,勾不到東西,所以「下載」「移動」「刪除」都會是灰的——先用「新增」上傳一個檔案,它們就會亮起來。這排按鈕和搜尋框同一列,位置在「檔案」卡片右上角、表格標題列的上方(不在表格下面)。可用操作:

操作 圖示 說明
重新整理 重新載入檔案列表。
下載 下載勾選的檔案。未勾選任何檔案時停用。
移動 把勾選的檔案移到其他資料夾,流程見下方移動檔案未勾選任何檔案時停用。
刪除 刪除勾選的檔案。未勾選任何檔案時停用。
新增 點開後出現「上傳」與「新增資料夾」兩個選項:「上傳」把本機檔案傳進儲存庫,「新增資料夾」建立資料夾以分層整理檔案。

每列最左有勾選框,勾選一個或多個檔案後,上方的「下載」「移動」「刪除」才會啟用。

勾選了檔案之後,表格上方還會淡入一條提示列,左邊寫著已選取幾個檔案(例如「已選取資料夾中的 2 個檔案。」),右邊是一顆文字鈕,作用會跟著切換:還沒全選時寫「選擇此資料夾中的所有 N 個檔案」(一次把整個資料夾裡的檔案都勾起來,不只當前這一頁),已經全選時改寫「取消全選」(一次清掉所有勾選)。

移動檔案

要先有資料夾,才有地方可搬。 剛建好的儲存庫是完全平的,這時勾了檔案按「移動」,看到的會是一個空的「選擇目的地資料夾」對話框加一行「找不到更多結果。」,「移動」鈕是灰的——這不是壞掉,是還沒有任何資料夾。資料夾要自己用工具列的 「新增」→「新增資料夾」建出來。

勾選檔案後按 「移動」,流程分三步:先在對話框裡挑目的資料夾(檔案目前所在的資料夾會停用、選不了),接著出現確認畫面列出即將移動的檔案,確認後才真的搬。忘了先建資料夾也不用退出去:「選擇目的地資料夾」對話框裡自己也有一顆 (新增資料夾)與一顆 ,可以當場開一個新資料夾再搬過去。

每個檔案是各自獨立搬的,所以一批裡有幾個失敗不會拖累其他檔案。全部成功時只會出現一則成功通知;只要有任何一個沒搬成,就會跳出「移動結果」對話框把帳算清楚:「以下檔案已成功移動:」列出搬過去的,「以下檔案移動失敗:」列出沒成的,失敗的每一筆還帶「狀態」欄說明現在的處境——「未移動」表示它還在原資料夾沒動;「兩個資料夾皆存在」表示搬到一半,新舊兩邊各有一份,要自己去把多的那份刪掉。

批次下載與刪除也是逐檔處理

「下載」與「刪除」同樣一檔一檔做:部分失敗時會出現「成功下載 N 個檔案,M 個失敗。請重新下載失敗的檔案。」或「成功刪除 N 個檔案,M 個失敗。」的通知,成功的那幾個不會被失敗的拖累。

點檔案名稱會離開這一頁,開啟該檔案自己的詳細頁(網址是 .../files/<檔名>?file=true),上面列的是這個檔案的中介資料(類型、大小、檔案路徑等)。只有 .csv.jsonl 會多出一塊內容預覽,其他格式(.md.pdf 等)就只有中介資料,看不到內容——要看內容請先「下載」。

「一般」與其他頁籤

頁籤 內容
一般 儲存庫的基本資料:ID、名稱、標籤、類型、位置欄位(見下方)、系統資訊、狀態、建立者、更新者、最後更新。卡片右上角的圖示鈕可編輯()、複製()或刪除()。
檔案 檔案管理畫面,如上一節。
依賴資源 這個儲存庫用到的其他資源。
被依賴資源 反過來,有哪些資源用到這個儲存庫(例如以它為來源的載入器)。

「一般」頁籤的位置欄位隨類型不同:

類型 位置欄位
預設 「資料夾路徑」——平台自動以儲存庫 ID 命名的根路徑,不需要設定。
Amazon S3 「連結器」(顯示連結器名稱,可點進去)、「S3 儲存貯體」、「S3 字首」,三者都有 複製鈕。

S3 型的儲存庫沒有「複製」鈕

複製一份會沿用同一個貯體與字首,而字首互相包含是不允許的,所以 S3 型的詳細頁與清單列選單裡不會出現複製(這個選項:清單那一列的 選單只有「編輯」「刪除」兩項,詳細頁卡片右上角也只有 。「預設」型的選單則是「編輯」「複製」「刪除」三項。

刪除 S3 型儲存庫會一併刪掉你自己貯體裡的檔案

刪除確認對話框會多出一則警示:「刪除此儲存庫不只會移除平台上的設定,也會一併刪除你自有的 S3 儲存貯體中該字首之下的所有物件,且無法復原。」

也就是說這個刪除動作會動到平台之外的資料。只是不想再從平台用它的話,請改成把用到它的載入器、Agent 改指到別處,不要刪除這個資源。

儲存庫沒有「驗證」功能

儲存庫詳細頁不提供「驗證憑證/測試連線」按鈕。S3 型的憑證與權限是在建立當下就驗過的,所以建得起來就表示當時連得上;之後若權限被改掉,會在實際讀寫檔案時才報錯。要確認它現在有沒有用,看「檔案」頁籤的內容,或看下方「使用效果」。

使用效果

儲存庫的價值在於「被其他功能讀寫」。建立並上傳檔案後,它會在這些地方被使用:

  • 載入器 (Loader):把儲存庫當作資料來源,讀取裡面的檔案、切塊、轉成向量寫進知識庫——這是儲存庫最常見的下游用途。
  • 工作流程與 Agent 執行:執行時產生的檔案會寫入所選的儲存庫,使用者上傳的檔案也存放在這裡,供後續步驟讀取。

上圖「檔案」頁籤裡的 product-faq.md 就是先上傳到儲存庫、之後被載入器當來源灌進知識庫的檔案。要把儲存庫接成載入器來源,見載入器 (Loader) 的「來源設定」。

下一步