大型語言模型¶

這頁能幫你做什麼¶

大型語言模型 (LLM) 資源把一個「會講話、能理解文字」的 AI 模型連線設定存起來，之後在 Agent、工作流程 (Workflow) 的大型語言模型 (LLM) 任務等地方直接選用。你在這裡決定要用哪一家供應商、哪一個模型、用什麼金鑰連線，以及模型回答時的風格（例如多嚴謹、多有創意）。

常見情境：

• 設定一個 Claude 或 GPT 模型，給客服 Agent 回答問題。
• 為財報問答、合約抽取等任務挑選合適的模型與參數。
• 接公司自架的 Ollama 模型，在內網離線使用。

平台支援七種類型：Amazon Bedrock - Anthropic、Amazon Bedrock - Nova、Amazon Bedrock - Llama、Amazon Bedrock - GPT OSS、Gemini、Ollama、OpenAI。建立時先填名稱、選類型，畫面會依類型顯示對應的連線與模型欄位。

開始前¶

操作步驟¶

1. 從左側資源選單進入「大型語言模型」清單頁，點建立入口（空清單時是有文字的建立按鈕；清單已有項目時是右上角無文字的「+」圖示）開啟建立表單。

   

2. 在「名稱」欄輸入容易辨識的名稱（例如 claude-support）。

3. 在「類型」下拉選單選擇供應商。不同類型會出現不同欄位，選好後的畫面差異見下方完整欄位說明。建立後類型不可更改。
4. 視需要在「系統提示詞」填入模型的角色定位與行為指引。
5. 依所選類型填入連線資訊（API 金鑰、AWS 憑證或端點 URL）與「模型」。
6. 視需要展開「進階設定」摺疊區塊，調整回答長度與風格參數（每個數值參數前有勾選框，勾選後才會套用）。
7. 填好連線資訊後，可點表單右上角的驗證按鈕（依類型顯示「驗證憑證」「驗證 API 金鑰」或「測試連線」）先確認連得上，見使用效果。
8. 按右上角的「儲存」按鈕完成建立（見步驟 1 圖右上角）。

完整欄位說明¶

主表單先填所有類型共通的「名稱」「類型」「系統提示詞」，選好類型後再填該類型專屬的連線與模型欄位。

共同欄位（不分類型）¶

Amazon Bedrock - Anthropic¶

由 Amazon Bedrock 提供的 Anthropic Claude 模型，擅長理解上下文與自然語言對話。

適合：

• 走 AWS 帳號使用 Claude（Sonnet／Haiku／Opus 各版本）。
• 需要較強的上下文理解、推理與多輪對話能力。

選「Amazon Bedrock - Anthropic」後，表單會出現「模型」「地區」，「進階設定」內含 AWS 憑證、思考與回答參數：

Anthropic 類型的主要欄位：

進階設定、AWS 憑證、思考功能等參數見下方進階設定、AWS 憑證、思考功能。

Amazon Bedrock - Nova¶

由 Amazon 提供的 Nova 模型，主打高性價比與快速回應。

適合：

• 想要 Amazon 自家模型，重視成本與速度。
• 對話、摘要等一般文字任務。

連線、進階與憑證欄位與 Anthropic 相同（見進階設定、AWS 憑證）；Nova 也支援延遲效能設定。

Amazon Bedrock - Llama¶

由 Amazon Bedrock 提供的 Meta Llama 開源模型。

適合：

• 偏好開源模型家族、想走 AWS 託管。

連線、進階與憑證欄位與 Anthropic 相同（見進階設定、AWS 憑證）。Llama 無「Top K」欄位。

Amazon Bedrock - GPT OSS¶

由 Amazon Bedrock 提供的 OpenAI GPT OSS 開源模型。

適合：

• 想用 OpenAI 的開源權重模型，但走 AWS 託管而非 OpenAI 雲端 API。

連線、進階與憑證欄位與 Anthropic 相同（見進階設定、AWS 憑證）。GPT OSS 無「Top K」欄位。

Gemini¶

由 Google 提供的 Gemini 模型，結合多模態能力與強大的語言理解效能。

適合：

• 已有 Google Gemini 的 API 金鑰，想直接走 Google 雲端 API。

選「Gemini」後，表單會出現「API 金鑰」與「模型」：

進階參數見進階設定；部分 Gemini 模型支援思考功能。

Ollama¶

由 Ollama 提供的本機部署大型語言模型，適合離線使用與高度客製化情境。

適合：

• 模型要部署在公司內網或本機、需要離線使用。
• 重視資料不外流、想自架模型服務。

選「Ollama」後，表單會出現「端點 URL」與「模型」，「進階設定」內含回答參數：

Ollama 類型的主要欄位：

進階參數見進階設定；Ollama 額外提供「頻率懲罰」，且無「Top K」欄位。

OpenAI¶

由 OpenAI 提供的 GPT 模型，具備廣泛知識與強大對話能力。

適合：

• 已有 OpenAI 的 API 金鑰，想直接走 OpenAI 雲端 API。
• 需要 GPT-5 系列或具思考能力的模型。

選「OpenAI」後，表單會出現「API 金鑰」與「模型」，「進階設定」內含回答與思考參數：

OpenAI 類型的主要欄位：

進階參數見進階設定；OpenAI 思考模型另有思考功能的「思考強度」。OpenAI 無「Top K」欄位。

進階設定（摺疊區塊）¶

以下參數位於「進階設定」摺疊區塊內，用來微調回答的長度與風格。多數數值參數前方有勾選框，勾選後才會套用，未勾選則沿用模型預設；需先選好「模型」才能調整。各參數的可用範圍與預設會依所選模型自動帶入。

AWS 憑證（僅 Amazon Bedrock 類型）¶

四種 Amazon Bedrock 類型在「進階設定」內提供「憑證類型」，可選兩種連線方式之一；不選則沿用環境預設憑證。

* 僅在選擇對應的「憑證類型」時才會出現並必填。

思考功能（部分模型）¶

部分支援「思考 (Thinking)」的模型（如 Claude、Gemini 2.5／3、GPT-5 系列）會在「進階設定」內額外出現思考相關欄位；不支援的模型不會出現。

大型語言模型詳細頁¶

建立完成後點進某個 LLM 資源，詳細頁上方有三個頁籤；下圖為一個 Amazon Bedrock - Anthropic 模型「一般」頁籤的「詳細資料」卡片，可看到 ID、名稱、類型與模型參數、狀態與最後更新：

「詳細資料」卡片右上角的圖示鈕：複製（）與驗證（，鑰匙加無線弧）。其中「驗證」鈕是 LLM 特有的連線驗證入口，見下方使用效果。

使用效果¶

LLM 資源不能單獨執行，它的價值在於兩件事：驗證連線設定正確，以及被下游的 Agent 與任務選用、產生回應。

驗證連線：兩個入口¶

要確認金鑰或憑證設定正確，最直接的方式就是驗證。七種類型都支援驗證，做的事一樣（用目前填入的設定測試一次），有兩個入口：

• 建立／編輯表單右上角的文字按鈕：依類型顯示不同字樣——
• Amazon Bedrock（Anthropic／Nova／Llama／GPT OSS）：「驗證憑證」。
• Gemini、OpenAI：「驗證 API 金鑰」。
• Ollama：「測試連線」。
• 詳細頁「詳細資料」卡片右上角的圖示鈕：圖示為 ，滑過會顯示對應的驗證字樣（見詳細頁截圖）。

點下按鈕後，平台會用目前填入的設定去測試：

• 成功：畫面右下角跳出綠色提示（如「憑證驗證成功！」「API 金鑰驗證成功！」「連線測試成功！」），代表這組設定可以正常使用。
• 失敗：跳出紅色提示「…失敗！請檢查設定並重試。」，請回頭檢查金鑰、AWS 憑證或端點是否正確。

建議在儲存前先驗證一次，確認連得上再讓下游功能引用。

被下游選用¶

驗證通過後，這個 LLM 就能在下游被選用、實際跑出回應：

• 大型語言模型 (LLM) 任務：在工作流程的任務設定裡選這個 LLM，依你給的對話內容產生文字回應（該頁有實際執行輸出範例）。
• Agent 資源：為 Agent 指定當「大腦」的 LLM，對話時由它生成回答。

下一步¶

• 大型語言模型 (LLM) 任務：在工作流程中實際使用這個 LLM 產生回應。
• Agent 資源：為你的 Agent 指定要使用的 LLM。
• Template 資源：設計可重複使用的系統提示詞。