更多

    AWS 加推大量生成式 AI 服務 夥 NVIDIA 雲端建超級電腦

    Eric Chong
    Eric Chong
    商業・科技・創業・編輯

    公共雲平台的戰場轉至生成式 AI, AWS 在美國拉斯維加斯的年度大會 re:Invent 發表一連串生成式 AI 服務,其中有夥拍 NVIDIA 以 GH200 超級晶片建立超大規模叢集執行個體和具 65EFLOPS 運算效能的 AI 超級電腦。同時發表類似 ChatGPT 或 Copilot 的智能助理 Amazon Q ,用自然語言協助日常辦公。

    Adam Selipsky 在今年 re:Invent 大會發表多項生成式 AI 服務和基建。

    AWS 用企業的數據建立生成式 AI 服務。該公司行政總裁 Adam Selipsky 表示,企業的數據是其優勢,生成式 AI 用企業數據進一步發揮價值。企業引入生成式 AI 有不同選擇,可能自行訓練 LLM 和開發工具,或調校現成模型直接使用。 AWS 的策略是為企業提供更多大型語言模型,按需求選用。 Selipsky 特別強調:「雲端平台只提供單一語言模型並不足夠,甚至可能引起危機。在過去的十多日業界應該清楚了解情況。」

    AWS 的生成式 AI 堆疊( Gen AI Stack )分成三部分。首先在基建方面,該公司與 NVIDIA 有多項合作,為首個提供 GH200 超級晶片、 DGX Cloud 方案的雲端服務商。 雙方合作提供 NVIDIA GH200 NVL32 多節點平台的執行個體,平台採用 NVLink 與 NVSwitch 技術連結 32 個 GH200 超級晶片。配合 AWS 的 Nitro 、 EFA 、 UltraClusters 等連線技術,可擴展至配備數千 GH200 超級晶片的規模。 DGX Cloud 方案為 AI 訓練即服務,用於訓練具備 1 兆參數的大型語言模型。

    NVIDIA 創辦人及行政總裁黃仁勳稱,企業藉此以高效能基建訓練模型,而下一步將共同建立 Project Ceiba ,以 GPU 驅動的 AI 超級電腦。預計該超級電腦具備 65EFLOPS 運算能力,用上 16,384 顆 GH200 超級晶片,由 NVL32 與 EFA 連線技術支援。 AWS EC2 將加設 NVIIDA 新款 GPU 的執行個體,包括配置 H200 的 P5e 、 L4 和 L40S 的 G6 及 G6e ,可用於高效能工作負載、調校 LLM 、推論等。

    AWS 亦發表自行研發的 Trainium 2 ,較三年前推出的 Trainium 快 4 倍,專為訓練上兆參數的基礎模型而設。 Selipsky 稱, Trainium 2 適用於講求成本效益的企業,通過 AWS 連線技術可建立 65EFLOPS 運算效能的超級電腦執行個體。

    AWS 在上述基礎上設有基礎模型託管服務 Bedrock,原有的 6 個模型以外還加入 OpenAI 的對手 Anthropic 。後者為 OpenAI 前員工所創立,今年 9 月獲 AWS 及 Google Cloud 分別注資 40 億美元和 15 億美元。 Anthropic 創辦人 Dario Amodei 稱,旗下的大型語言模型 Claude 由 AWS 基建訓練,同時為 Bedrock 用戶提供新選擇。 Claude 2.1 一次可解讀 20 萬字詞,約是超長篇書本,較前一代倍增長度。

    生成式 AI 堆疊的應用方面,有今年的重點新發布 —— Amazon Q 。這服務利用企業的數據訓練而生成相關的內容,協助員工日常工作。 Selipsky 表示, Amazon Q 用 AWS 過去 17 年的知識來訓練,支援 IT 人員和企業員工,例如協助升級程式碼,將舊版本的 Java 程式碼升級, 1,000 個程式僅用兩日完成。 IT 人員可將基建要求輸入 Amazon Q ,獲得建議使用合適的 AWS 服務和執行個體。

    Amazon Q 可連接逾 40 個軟件,包括: Dropbox 、 Google Drive 、 Microsoft 365 等,分析內裡的數據,回答用戶的業務提問,提供度身訂造的對話、生成內容。過程設有身分驗證,按職能權限存取數據。該公司旗下的 BI 服務 QuickSight 、客戶服務中心 Connect 都會加入 Amazon Q ,注入 AI 功能。

    最新影片

    您會感興趣的內容

    相關文章