AWS 生成式 AI 追加基礎模型　Bedrock 增圍欄訓練負責任 AI

AWS 在生成式 AI 模型託管服務 Bedrock 和機械學習管理服務 SageMaker 加設多項新功能，包括擴充基礎模型 Titan 的生成文字和圖像、 RAG 自訂模型、微調模型，以至 Guardrials 圍欄功能保護生成內容等，讓企業按業務需求自訂或調整模型，生成合適的內容幫助日常營運。

AWS 數據和機械學習全球副總裁 Swami Sivasubramanian 稱，生成式 AI 發展迅速， AWS 提供平台讓企業選擇合適的方法引入技術，從訓練模型的基建、基礎模型、調整模型的方式，甚至預備數據訓練等，協助企業用屬於自己的數據簡易地建立生成式 AI 工具。

Bedrock 引入多個基礎模型供企業直接使用或微調至合適可用：

Titan Multimodal Embeddings：將圖像和短文本轉換為 embedding 數字形式表示，使模型能夠理解語義和資料之間的關係，用戶可以使用圖像和文本提示搜尋查詢。
Titan Image Generator：使用自然語言提示生成圖像，圖像會嵌入隱形浮水印，識別為 AI 生成檔案。
Anthropic Claude 2.1：支援解讀 20 萬字詞，開放式對話的錯誤陳述減少 50% ，錯誤陳述率減少一半。
Meta Llama 2 70B：Llama 2 的 700 億參數模型，較同系 130 億參數模型大兩倍以上，可經指令資料集和超過 100 萬條人工注釋作微調，設定合適的對話環境。

AWS 生成式 AI 副總裁 Vasi Philomin 補充，單一基礎模型不足以應付企業各類型的需求，因此與業界合作在 Bedrock 上提供不同種類的模型，加上 Amazon Titan 模型，企業可按其情況選用合適的工具。而建立生成式 AI 應用程式的關鍵，在於企業應運用自己的數據訓練自訂模型。

Bedrock 還設有自訂模型功能，包括微調模型和 RAG（retrieval augmented generation），讓企業使用內部數據結合基礎模型生成具公司風格、更相關的內容。微調模型使用標記資料集調整模型參數，使符合業務需求，將已掌握的知識擴展到企業使用的詞彙庫。先在 Bedrock 上複製模型，結合 S3 的標記示例，成為微調模型。

RAG 以專用資料補充現有模型可獲得更準確的回應。 RAG 從文件儲存庫、數據庫和 API 等來源獲取資料。為加快提取文本數據， AWS 將為旗下數據庫服務加入向量引擎，包括 OpenSearch 、 Pinecone 和 Redis Enterprise Cloud ，稍後支援 Aurora 和 MongoDB 。

AWS 關聯數據庫副總裁 Jeff Carter 稱，長遠目標為所有數據庫服務支援向量功能，任何數據都能以語意搜尋內容，為生成式 AI 提供自訂基礎。

SageMaker 則加入多個訓練模型功能，配合 Bedrock 的微調模型和 RAG ：

SageMaker HyperPod：透過大規模分散式訓練提供基礎設施，將訓練基礎模型的時間縮短最多 40%。
SageMaker Inference：使用優化加速器將基礎模型部署成本平均降低 50%，時延平均降低 20%。
SageMaker Clarify：根據負責任 AI 的參數快速評估和選擇基礎模型。
SageMaker Canvas：使用自然語言指令加速準備資料，點擊幾下可使用基礎模型。

負責任 AI 是企業引入 AI 技術時最關心的問題。AWS AI 倫理高級實務經理 Diya Wynn 指出，從近年的機械學習到現時的生成式 AI ，對負責任 AI 的要求已大有不同，前者講求私隱，後者在此之上還加上避免數據外洩、知識產權等。 AWS 所發表的負責任 AI 政策涵蓋這些範圍，尤其 Bedrock 其中之一的承諾，不會利用企業客戶的數據訓練 AI 模型。他強調：「負責任 AI 的基礎正是信任，企業方可放心地運用技術。」

Bedrock 又新增 Guardrails 圍欄功能預覽版，給企業為生成式 AI 應用程式實施保護措施。設定圍欄時，用自然語言描述定義、不應出現的話題，以及可以配置仇恨言論、侮辱、性語言和暴力的門檻值，過濾有害內容至企業可接受的水平。 Guardrails 圍欄功能明年將會升級，客戶於 2024 年初可以編輯模型回應中的個人身分資訊（ PII ）、設置髒話篩檢程式，並提供自訂單字清單來阻止用戶和模型之間的互動。Guardrails 還可自動評估用戶查詢和模型回應，防止出現屬於受限類別的內容。

AWS 在 re:Invent 展覽區示範多個生成式 AI 項目，包括 PartyRock 和飛行器檢驗環境。PartyRock 為生成式 AI 的試玩工具，用生成技術建立程式。用戶輸入程式用途，如建議晚餐食譜，系統便會自動生成介面，可以輸入食材、菜式、烹調時間的關鍵字隨即產生食譜。這項目讓一般用戶都能試用生成式 AI 的能力。