自 GPT-4 推出以來,間中都會看到有人指它的回覆愈來愈不濟,尤其是在編寫程式方面,有時甚至只輸出幾行程式碼和簡單說明,其他程式碼就要開發者自己完成。經過幾個月用戶投訴後,OpenAI 日前終於承認問題,並表示正著手修正。
OpenAI 在承認問題的推文中表示他們自 11 月 11 日更新模型之後就沒有再更新,並表示這「偷懶」情況並不是故意的,他們指模型的行為有時會難以預測,會對此作出修正。
之後 OpenAI 又再解釋訓練聊天模型的過程需要高度技巧,表示訓練聊天機械人模型不是一個單純的工業生產工序,即使使用相同的資料集,進行不同的訓練也可能產生具有不同個性、寫作風格、拒絕行為、評估表現甚至政治偏見的模型。當推出新模型時,他們會在離線評估指標和在線 A/B 測試上進行全面測試,得出結果後,他們會嘗試進行收數據驅動的決策,以確定新模型是否比以前的模型對真實用戶有所改進。這工序需要多人一起努力手工規劃、創建和評估具有新行為的新聊天模型。
為了讓新模型對數以百萬計用例中的每個人都有用,OpenAI 請求用戶繼續提供回饋,以幫助他們掌握這個動態評估問題。
OpenAI 是在 11 月初推出新的 GPT-4 Turbo 模型,大幅降低查詢成本,不過就在 11 月旬宣布由於使用者踴躍,暫停接受新的 ChatGPT Plus 用戶訂閱。其後不久就發生「政變」,董事會想將 CEO Sam Altman 推下台,但最終在員工擁護和投資者壓力下 Altman 復任。至今 ChatGPT Plus 訂閱仍未恢復。