大型語言模型¶
這頁能幫你做什麼¶
大型語言模型 (LLM) 資源把一個「會講話、能理解文字」的 AI 模型連線設定存起來，之後在 Agent、工作流程 (Workflow) 的大型語言模型 (LLM) 任務等地方直接選用。你在這裡決定要用哪一家供應商、哪一個模型、用什麼金鑰連線，以及模型回答時的風格（例如多嚴謹、多有創意）。
常見情境：
- 設定一個 Claude 或 GPT 模型，給客服 Agent 回答問題。
- 為財報問答、合約抽取等任務挑選合適的模型與參數。
- 接公司自架的 Ollama 模型，在內網離線使用。
平台支援七種類型：Amazon Bedrock - Anthropic、Amazon Bedrock - Llama、Amazon Bedrock - GPT OSS、Amazon Bedrock - Nova、Gemini、Ollama、OpenAI。建立時先填名稱、選類型，畫面會依類型顯示對應的連線與模型欄位。
開始前¶
前置需求
依你選的供應商，需要備妥對應的連線資訊：
- Amazon Bedrock（Anthropic／Nova／Llama／GPT OSS）：AWS 存取金鑰或 IAM 角色，以及可用的 AWS 區域 (Region)。
- Gemini／OpenAI：該平台的 API 金鑰。
- Ollama：可連線的伺服器端點 URL。
這些憑證不是在平台上申請的，也不會自己出現：AWS 存取金鑰／IAM 角色請向貴單位的 IT 或雲端管理員索取，Gemini／OpenAI 的 API 金鑰請向持有該帳號的窗口索取，Ollama 端點 URL 請問架設那台伺服器的同事。手上沒有這些資訊就先別開始建立。
操作步驟¶
-
從左側資源選單進入「大型語言模型」清單頁，點建立入口（空清單時是有文字的建立按鈕；清單已有項目時是右上角無文字的「+」圖示）開啟建立表單。
-
在「名稱」欄輸入容易辨識的名稱（例如
claude-support）。 - 在「類型」下拉選單選擇供應商。不同類型會出現不同欄位，選好後的畫面差異見下方完整欄位說明。建立後類型不可更改。
- 視需要在「系統提示詞」填入模型的角色定位與行為指引。
- 依所選類型填入連線資訊（API 金鑰、AWS 憑證或端點 URL）與「模型」。Amazon Bedrock 系列請先選「模型」再選「地區」——沒選模型時地區下拉打開只會顯示「沒有資料」，那不是壞了。
- 視需要展開「進階設定」摺疊區塊，調整回答長度與風格參數（每個數值參數前有勾選框，勾選後才會套用）。這一區要先選好上一步的「模型」才會啟用，太早展開會看到整片灰色、什麼都調不了。
- 填好連線資訊後，可點表單右上角的驗證按鈕（依類型顯示「驗證憑證」「驗證 API 金鑰」或「測試連線」）先確認連得上，見使用效果。
- 按右上角的「儲存」按鈕完成建立（見步驟 1 圖右上角）。
完整欄位說明¶
主表單先填所有類型共通的「名稱」「類型」「系統提示詞」，選好類型後再填該類型專屬的連線與模型欄位。
共同欄位（不分類型）¶
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| 名稱 | 是 | 無 | 此 LLM 資源的識別名稱。最多 64 個字，不可用 default 開頭。 |
| 標籤 | 否 | 無 | 分類用的小標，貼上後可在清單頁用「標籤」把同一群資源一次篩出來。填法與數量／長度限制見「標籤」欄位。 |
| 類型 | 是 | 無（需選擇） | 模型供應商，七選一：Amazon Bedrock - Anthropic、Amazon Bedrock - Llama、Amazon Bedrock - GPT OSS、Amazon Bedrock - Nova、Gemini、Ollama、OpenAI。各類型的適用情境與專屬欄位見下方各節。建立後無法修改。 |
| 系統提示詞 | 否 | 無 | 模型的角色定位與行為指引，影響回答的語氣、風格與邏輯方向。支援 {{ 變數 }} 語法。選定類型後才會出現。 |
| 將輸出轉換為繁體中文 | 否 | 關閉 | 開關。開啟後，這個 LLM 的輸出會由簡體字轉換為繁體中文（支援串流）。選定類型後才會出現，七種類型都有。Agent 可於執行時覆寫此設定。 |
類型在建立後鎖定
編輯既有 LLM 資源時「類型」為唯讀。需要不同供應商請另建一個 LLM 資源。
供應商怎麼選
一句話判斷：
- 想用一組 AWS 帳號集中管控多種模型（Claude、Nova、Llama、GPT OSS），走 AWS 雲端 → 選 Amazon Bedrock 系列。
- 已有 Google 或 OpenAI 的 API 金鑰、想直接走該平台雲端 API → 選 Gemini 或 OpenAI。
- 模型要部署在公司內網、離線或高度客製化 → 選 Ollama（自架伺服器）。
四種 Amazon Bedrock 類型差別只在底層模型家族（Anthropic Claude／Amazon Nova／Meta Llama／OpenAI GPT OSS），連線方式與 AWS 憑證設定相同。
「系統提示詞」的工具列與「改寫」
「系統提示詞」輸入框右上角一直顯示一排編輯器工具列，不必把滑鼠移上去。由左到右是： 「改寫」（可請 AI 幫你優化提示詞）、自動換行 、複製 、下載 、在對話方塊中編輯 。欄位空白時「改寫」與「下載」都是停用的，要先寫幾句草稿才按得下去。工具列說明見通用介面元件 — 編輯器工具列，改寫用法見 Agent 提示詞的改寫功能。
Amazon Bedrock - Anthropic¶
由 Amazon Bedrock 提供的 Anthropic Claude 模型，擅長理解上下文與自然語言對話。
適合：
- 走 AWS 帳號使用 Claude（Sonnet／Haiku／Opus 各版本）。
- 需要較強的上下文理解、推理與多輪對話能力。
選「Amazon Bedrock - Anthropic」後，表單會出現「模型」「地區」，「進階設定」內含 AWS 憑證、思考與回答參數：
Anthropic 類型的主要欄位：
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| 模型 | 是 | 無 | 要使用的 Claude 模型（Claude Sonnet 5、Sonnet 4.6／4.5、Opus 4.8／4.7／4.6、Haiku 4.5 等）。名稱前綴 Global／JP／US 代表跨區域推理範圍，無前綴為單一區域。 |
| 地區 | 是 | 無 | 模型所在的 AWS 區域。選跨全球推理（Global）的模型時下拉會列出所有區域；其他模型可能只列出支援的區域。請選你實際可存取的區域。 |
進階設定、AWS 憑證、思考功能等參數見下方進階設定、AWS 憑證、思考功能。
Amazon Bedrock - Nova¶
由 Amazon 提供的 Nova 模型，主打高性價比與快速回應。
適合：
- 想要 Amazon 自家模型，重視成本與速度。
- 對話、摘要等一般文字任務。
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| 模型 | 是 | 無 | 要使用的 Amazon Nova 模型（Lite／Micro／Pro 等）。 |
| 地區 | 是 | 無 | 模型所在的 AWS 區域，依「模型」帶出可選清單。 |
連線、進階與憑證欄位與 Anthropic 相同（見進階設定、AWS 憑證）；Nova 也支援延遲效能設定。
Amazon Bedrock - Llama¶
由 Amazon Bedrock 提供的 Meta Llama 開源模型。
適合：
- 偏好開源模型家族、想走 AWS 託管。
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| 模型 | 是 | 無 | 要使用的 Meta Llama 模型（Llama 4 Maverick／Scout、Llama 3.3 等）。 |
| 地區 | 是 | 無 | 模型所在的 AWS 區域，依「模型」帶出可選清單。 |
連線、進階與憑證欄位與 Anthropic 相同（見進階設定、AWS 憑證）。Llama 無「Top K」欄位。
Amazon Bedrock - GPT OSS¶
由 Amazon Bedrock 提供的 OpenAI GPT OSS 開源模型。
適合：
- 想用 OpenAI 的開源權重模型，但走 AWS 託管而非 OpenAI 雲端 API。
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| 模型 | 是 | 無 | 要使用的 GPT OSS 模型（20B／120B）。 |
| 地區 | 是 | 無 | 模型所在的 AWS 區域，依「模型」帶出可選清單。 |
連線、進階與憑證欄位與 Anthropic 相同（見進階設定、AWS 憑證）。GPT OSS 無「Top K」欄位。
Gemini¶
由 Google 提供的 Gemini 模型，結合多模態能力與強大的語言理解效能。
適合：
- 已有 Google Gemini 的 API 金鑰，想直接走 Google 雲端 API。
選「Gemini」後，表單會出現「API 金鑰」與「模型」：
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| API 金鑰 | 是 | 無 | Google Gemini 的 API 金鑰，以遮罩方式輸入。 |
| 模型 | 是 | 無 | 要使用的 Gemini 模型。目前提供 Gemini 3.5 Flash、Gemini 3.1 Pro Preview、Gemini 3.1 Flash Lite、Gemini 3 Flash Preview、Gemini 2.5 Flash、Gemini 2.5 Pro。 |
Ollama¶
由 Ollama 提供的本機部署大型語言模型，適合離線使用與高度客製化情境。
適合：
- 模型要部署在公司內網或本機、需要離線使用。
- 重視資料不外流、想自架模型服務。
選「Ollama」後，表單會出現「端點 URL」與「模型」，「進階設定」內含回答參數：
Ollama 類型的主要欄位：
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| 端點 URL | 是 | 無 | Ollama 伺服器的端點 URL，須為 http 或 https 開頭。 |
| 模型 | 是 | 無 | 在該 Ollama 伺服器上可用的模型。填好端點後點欄位右側的重新整理圖示，平台會向伺服器抓取可選清單。 |
進階參數見進階設定；Ollama 額外提供「頻率懲罰」，且無「Top K」欄位。
OpenAI¶
由 OpenAI 提供的 GPT 模型，具備廣泛知識與強大對話能力。
適合：
- 已有 OpenAI 的 API 金鑰，想直接走 OpenAI 雲端 API。
- 需要 GPT-5 系列的思考型模型。
選「OpenAI」後，表單會出現「API 金鑰」與「模型」，「進階設定」內含回答與思考參數：
OpenAI 類型的主要欄位：
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| API 金鑰 | 是 | 無 | OpenAI 的 API 金鑰，以遮罩方式輸入。 |
| 模型 | 是 | 無 | 要使用的 OpenAI 模型。目前提供 GPT-5 系列：OpenAI - GPT-5.5、GPT-5.4／GPT-5.4 mini／GPT-5.4 nano、GPT-5.2、GPT-5.1、GPT-5 mini／GPT-5／GPT-5 nano。 |
進階參數見進階設定；OpenAI 思考模型另有思考功能的「思考強度」。OpenAI 無「Top K」欄位。
進階設定（摺疊區塊）¶
以下參數位於「進階設定」摺疊區塊內，用來微調回答的長度與風格。多數數值參數前方有勾選框，勾選後才會套用，未勾選則沿用模型預設；需先選好「模型」才能調整。各參數的可用範圍與預設會依所選模型自動帶入。
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| 最大 Token 數 | 否 | 依模型 | 模型每次回答最多生成的 Token 數（Token 是分詞後的最小單位）。數值越大可回答越長，但耗時與成本也越高。 |
| 溫度 | 否 | 依模型 | 控制回答的隨機性。值越低越保守、可預測；值越高越多樣、有創意。 |
| Top P | 否 | 依模型 | 以累積機率挑選候選詞控制隨機性。值越低越聚焦穩定；值越高越多樣。 |
| Top K | 否 | 依模型 | 只從機率最高的前 K 個候選詞抽樣。K 越低用詞越常見；K 越高可能引入較少見的詞。（OpenAI、Llama、GPT OSS、Ollama 類型無此欄位。） |
| 頻率懲罰 | 否 | 依模型 | 僅 Ollama 類型提供。值越高越能減少重複用詞，讓內容更多樣。 |
| 延遲效能設定 | 否 | 無 | 僅四種 Amazon Bedrock 類型（Anthropic、Nova、Llama、GPT OSS）提供。調整模型回應延遲方式，可選「標準」「最佳化」（「最佳化」僅在模型與地區支援時可選）。需先選好模型與地區。 |
AWS 憑證（僅 Amazon Bedrock 類型）¶
四種 Amazon Bedrock 類型在「進階設定」內提供「憑證類型」，可選兩種連線方式之一；不選則沿用環境預設憑證。
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| 憑證類型 | 否 | 無 | 連線 AWS 的方式，可清空。可選「指定存取金鑰」（用存取金鑰驗證）或「指定 IAM 角色」（用 IAM 角色驗證）。 |
| AWS 存取金鑰 ID | 是* | 無 | 選「指定存取金鑰」時出現。AWS 的存取金鑰 ID。 |
| AWS 私密存取金鑰 | 是* | 無 | 選「指定存取金鑰」時出現。對應的私密金鑰，以遮罩方式輸入。 |
| 帳戶 ID | 是* | 無 | 選「指定 IAM 角色」時出現。12 碼數字的 AWS 帳戶 ID。 |
| 角色名稱 | 是* | 無 | 選「指定 IAM 角色」時出現。要扮演的 IAM 角色名稱。 |
* 僅在選擇對應的「憑證類型」時才會出現並必填。
思考功能（部分模型）¶
部分支援「思考 (Thinking)」的模型（如 Claude、Gemini 2.5／3、GPT-5 系列）會在「進階設定」內額外出現思考相關欄位；不支援的模型不會出現。
Anthropic 類型的思考欄位分成兩派，選到哪一派完全由模型決定，這也是同一個類型下畫面差很多的原因：
- 用「思考強度」的模型（如 Claude Opus 4.8、Claude Sonnet 5）：「啟用思考功能」一選好模型就已經是開的，「思考強度」（預設「高」）直接出現在畫面上。而且這一派模型根本沒有「溫度」「Top P」「Top K」這三欄——不是灰掉，是整個不存在，不用去找。
- 用「思考預算 Token 數」的模型（如 Claude Sonnet 4.6）：「啟用思考功能」預設關閉，要自己打開，才會跟著出現「包含思考」與「思考預算 Token 數」。打開的同時「溫度」會被鎖成固定值、「Top P」「Top K」會被關掉。
沒看到「包含思考」「思考預算 Token 數」時，先確認這個開關開了沒；沒看到「溫度」那三欄，看看你選的是不是上面第一派的模型。
| 欄位 | 必填 | 預設 | 說明 |
|---|---|---|---|
| 啟用思考功能 | 否 | 依模型 | 僅 Anthropic 類型以開關呈現。用「思考強度」的模型預設開啟，用「思考預算 Token 數」的模型預設關閉（見上）。開啟後模型會先進行內部推理再回答，適合較複雜、需多步推理的任務；耗時與 Token 用量會增加。 |
| 包含思考 | 否 | 關閉 | 是否在回應中附上推理過程的摘要說明，方便理解模型如何得出答案。 |
| 思考預算 Token 數 | 否 | 依模型 | 模型內部思考可用的 Token 數，必須小於「最大 Token 數」；設得太接近可能導致最終回答過短。較舊的 Anthropic 模型與 Gemini 2.5（自訂模式）會出現此欄位；較新的 Anthropic 模型（如 Claude Opus 4.8／4.7）改用下方的「思考強度」。 |
| 思考強度 | 否 | 依模型（Anthropic 為「高」） | OpenAI 思考模型，以及用思考強度的 Anthropic 模型（如 Claude Opus 4.8）會出現。內部思考的強度等級，可選項目依模型而定：Claude Opus 4.8 是「低」「中」「高」「極限」「最大」五項全可選；OpenAI - GPT-5 則是「無」「低」「中」「高」「極限」五項、沒有「最大」，而且「無」與「極限」是灰的不能選。OpenAI 這一派會把「溫度」「Top P」保留在畫面上但鎖成固定值（顯示 1、滑桿動不了）；Anthropic 用思考強度的模型則是連欄位都沒有。 |
| 思考程度 | 是 | 高 | 僅 Gemini 3 等使用思考程度的模型提供。可選「低」「高」，等級越高邏輯驗證越嚴謹但較慢。欄位標題帶紅星，不過它一出現就帶著預設值「高」，所以不會擋住你儲存。 |
Gemini 思考預算模式
Gemini 使用思考預算 Token 數的模型（如 Gemini 2.5 Flash／Pro），「思考預算 Token 數」會先提供模式選單：「動態」（由模型自行決定）、「停用」（關閉思考，僅部分模型可選）、「自訂」（自行用滑桿設定數值）。
用 OpenAI 建一個客服 LLM
一個給客服 Agent 用的 OpenAI 模型最小設定：名稱 support-gpt、類型「OpenAI」、API 金鑰填你的金鑰（your-api-key）、模型選 OpenAI - GPT-5、系統提示詞填「你是一位有禮貌的客服助理，請用繁體中文簡潔回答。」其餘進階參數維持預設即可。建立後就能在 Agent 或工作流程的大型語言模型 (LLM) 任務選用。
大型語言模型詳細頁¶
建立完成後點進某個 LLM 資源，詳細頁上方有三個頁籤；下圖為一個 Amazon Bedrock - Anthropic 模型「一般」頁籤的「詳細資料」卡片，可看到 ID、名稱、標籤、類型與模型參數、狀態、建立者、更新者與最後更新：
| 頁籤 | 內容 |
|---|---|
| 一般 | LLM 的基本資料，由上而下為：ID、名稱、標籤、類型、使用跨區域推理模型、模型、地區、各項思考與回答參數（金鑰會遮蔽）、系統資訊、將輸出轉換為繁體中文、狀態、建立者、更新者、最後更新，最後一列才是系統提示詞（它不跟模型參數排在一起，要往最下面找）。沒有設定值的參數顯示 -。 |
| 依賴資源 | 這個 LLM 用到的其他資源。 |
| 被依賴資源 | 反過來，有哪些資源用到這個 LLM（例如選用它的 Agent 或大型語言模型 (LLM) 任務）。 |
「詳細資料」卡片右上角由左至右有五顆圖示鈕：編輯（）、複製（）、驗證（，鑰匙加無線弧）、刪除（），以及收合卡片的箭頭。其中「驗證」鈕是 LLM 特有的連線驗證入口，見下方使用效果。
「使用跨區域推理模型」是自動判斷的，不是你設的欄位
建立表單裡沒有這個欄位。它是平台依你選的「模型」自動判斷後顯示在詳細頁的：模型名稱帶 Global／JP／US 前綴（跨區域推理）時顯示「是」，選無前綴的單一區域模型時顯示「否」。要改就回去換模型。目前 Anthropic 的模型清單每一個都帶前綴，所以在 Anthropic 上只看得到「是」；要看到「否」得選 Nova（Nova Lite／Nova Micro／Nova Pro）或 GPT OSS 這些無前綴的模型。
使用效果¶
LLM 資源不能單獨執行，它的價值在於兩件事：驗證連線設定正確，以及被下游的 Agent 與任務選用、產生回應。
驗證連線：兩個入口¶
要確認金鑰或憑證設定正確，最直接的方式就是驗證。七種類型都支援驗證，做的事一樣（用目前填入的設定測試一次），有兩個入口：
- 建立／編輯表單右上角的文字按鈕：依類型顯示不同字樣——
- Amazon Bedrock（Anthropic／Nova／Llama／GPT OSS）：「驗證憑證」。
- Gemini、OpenAI：「驗證 API 金鑰」。
- Ollama：「測試連線」。
- 詳細頁「詳細資料」卡片右上角的圖示鈕：圖示為 ，滑過會顯示對應的驗證字樣（見詳細頁截圖）。實測這顆鈕在已建立好的 LLM 上是停用（灰色、按不下去）的——包含系統預設的
default-llm，上方詳細頁截圖裡那顆也是灰的。要重新驗證一組設定，請按「編輯」進入表單，用表單右上角那顆文字按鈕。
點下按鈕後，平台會用目前填入的設定去測試：
- 成功：畫面右下角跳出綠色提示（如「憑證驗證成功！」「API 金鑰驗證成功！」「連線測試成功！」），代表這組設定可以正常使用。
- 失敗：跳出紅色提示「…失敗！請檢查設定並重試。」，請回頭檢查金鑰、AWS 憑證或端點是否正確。
建議在儲存前先驗證一次，確認連得上再讓下游功能引用。
請先填妥連線欄位再驗證
需先把該類型的連線欄位（API 金鑰、AWS 憑證或端點 URL 等）填好，按鈕才會真正去測試。還沒填完就按不會沒反應，它會直接在缺的欄位下方跳出紅字「此欄位為必填」，照著補完即可。Amazon Bedrock 類型在尚未選「憑證類型」前，表單上的驗證鈕會呈停用狀態。
被下游選用¶
驗證通過後，這個 LLM 就能在下游被選用、實際跑出回應：
- 大型語言模型 (LLM) 任務：在工作流程的任務設定裡選這個 LLM，依你給的對話內容產生文字回應（該頁有實際執行輸出範例）。
- Agent 資源：為 Agent 指定當「大腦」的 LLM，對話時由它生成回答。
下一步¶
- 大型語言模型 (LLM) 任務：在工作流程中實際使用這個 LLM 產生回應。
- Agent 資源：為你的 Agent 指定要使用的 LLM。
- 樣板資源：設計可重複使用的系統提示詞。