HPE 新推出 GreenLake for Large Language Models 協助企業用內部數據自行訓練大型語言模型,用於內部的生成式 AI 。 該公司香港及澳門董事總經理梁成琯指出,這服務提供完整配套整理從邊緣至雲端的數據,企業毋須大規模添置硬件訓練模型,有助節省成本和能源效益。
梁成琯表示, HPE 以 GreenLake 落實邊緣到混合雲策略已多年,將企業數據整合管理,按實際用量收費。今年生成式 AI 大熱,惟大多服務經公共雲提供,著重數據安全的企業未必能受惠。企業透過 GreenLake for LLM 可帶來自己的 AI 模型,用自己語言準確地生成內容,毋須擔心數據安全問題。
他續指, AI 運算採用超級電腦和高效能運算( HPC ), HPE 在這領域有數十年的專業知識,如去年為美國能源部建的超級電腦 Frontier ,目前在 TOP500 排第一和 Green500 排第六,具備運算效能兼節能。 GreenLake for LLM 可為訓練、調節和運行 LLM 提供所需的 IT 支援系統。
HPE 香港及澳門區副董事總經理郭榮忠介紹, GreenLake for LLM 提供按需使用,同時是支援多個企業運用的超級電腦雲端服務。該服務首個客戶為德國的生成式 AI 公司 Aleph Alpha ,亦是 HPE 的合作夥伴,將陸續為其他地區的企業提供服務。
他表示,企業自行建立 LLM ,可以控制所有數據和內容。 GreenLake 服務一直為企業做好數據管理,現在可用於訓練 LLM 。在訓練過程涉及高效能運算,但硬件只會使用數次,透過 GreenLake 的按需使用模式,有助企業節省訓練成本。預計本港企業初期主要用 LLM 加強早年已部署的對話機械人( chatbot ),做好客戶服務即時見到投資回報。及後會尋找其他 LLM 的用途。
企業近年著重環保效益, HPE GreenLake 新增可持續發展儀錶板(sustainability dashboard),幫助追蹤基建設備的耗能情況。梁成琯稱,以往數據中心的機櫃大多耗能 2kW 至 8kW ,現在因運算密度提高、速度加快,更要支援人工智能工作負載,耗能可達至 40kW 。用電更多代表碳排放更多,正與業界提倡的可持續發展相違背。
HPE 在今年 5 月收購 IT 營運管理公司 OpsRamp ,整合至 GreenLake 之內提供可持續發展儀錶板。 IT 管理人員在平台上監察本地、雲端的所有基建和軟件資源使用能源情況,有助制定減少耗能的策略。