AI的Scaling Law能否持續下去，關係著未來AI產業的興衰啊！ 原文網址:https://bit.ly/49l8Ctj 原文: 對矽谷來說，進入AI時代，摩爾定律已經被一個新概念取代，即是AI的「Scaling Law」 。這意味著廠商必須將更多的數據放入更大的AI模型中，再透過更多的運算能力，尋找到 更智慧的系統。這種洞察力為AI的進步帶來了火箭般的推動，將開發的重點從解決棘手的 科學問題轉變為建構更大的晶片集群。 簡言之，隨著ChatGPT的推出，Scaling Law開始嶄露頭角。在接下來的兩年裡，AI系統的 快速進步似乎表明，這條法則一直很有效，直到十年內達到某種“超級智慧(super intelligence)”為止。 然而，在過去的一個月裡，科技產業界的傳言愈來愈響亮，因為OpenAI、谷歌和 Anthropic等公司的最新模型並未顯示出符合Scaling Law預測的預期改進。 可是OpenAI的Sam Altman於2024年11月在X上發文表示AI發展沒有碰壁。Anthropic的執行 長Dario Amodei和輝達的執行長黃仁勳也對AI進展放緩的報道提出了異議。 對科技業來說，這是一個價值數兆美元的問題。如果久經考驗的AI模型訓練方法帶來的回 報遞減，它可能會破壞前所未有的投資週期的核心，即投入新創公司、產品和資料中心資 金將縮減，甚至重新啟動閒置的核電廠的計劃也將延遲。 研究人員指出了公司在AI開發的早期階段（稱為預訓練）可能遇到的兩個關鍵障礙。首先 是獲得運算能力，其次是訓練資料。輝達和其他公司正在克服AI晶片產出的限制，這幾年 後將逐步解決。至於訓練資料，其涉及使用大量資料訓練LLM，這些資料通常從網路上抓 取，然後由GPU進行處理。然後，該資訊被分解為“標記”，這些“標記”構成了模型處 理資料的基本單位。 雖然年復一年地向模型投入更多的資料和GPU可以可靠地產生更智慧的模型，但公司已經 耗盡了網路上公開可用的資料供應。研究公司Epoch AI預測，到2028年，可用的文字資料 可能會被榨乾。 當然，Scaling Law從來都不是鐵律。儘管如此，Scaling Law的假說仍加劇“對錯過下一 次重大科技轉型的恐懼”，導致大型科技公司對AI進行了前所未有的投資。摩根士丹利表 示，微軟、Meta、亞馬遜和谷歌的資本支出於2024年將超過2000億美元，2025年將超過 3000億美元。 不過，大多數企業仍在尋找AI的殺手級應用程式，尤其是在需要ChatGPT o1推理能力的領 域。在AI擴張的投機階段，輝達成為世界上最有價值的公司。可是Scaling Law的論點突 顯了其未來仍取決於大型科技公司從這些巨額投資中獲得實際的回報。一旦過了一年被產 業界發現，AI的確面臨難以短期突破的高牆，這時候輝達甚至台積電，甚至整個AI產業將 面臨的困境，將是難以估計的損失啊！ -- ※ 發信站: 批踢踢實業坊(web-ptt.tw), 來自: 203.145.192.245 (臺灣) ※ 文章網址: https://web-ptt.tw/Tech_Job/M.1733195899.A.1AA

推 zyliu : 謝謝分享 12/03 12:36

→ yunf : 既然不是鐵律 就可以把law拿掉 12/03 13:13

→ yunf : 選上了來戳泡泡 12/03 13:14

推 Latte7 : 黃仁勳財報已經解答了，記者智商？ 12/03 13:38

推 jamesho8743 : 目前的LLM大概已接近瓶頸 第一個是scaling law問題 12/03 18:31

推 yovroc: aSugarDating = 包養SD? 12/03 18:31

→ jamesho8743 : 目前還不知道是否到底了 能不能持續下去隨著算力 12/03 18:31

→ jamesho8743 : 增加而變聰明 第二個是可見的資料(優質的 不重複的 12/03 18:31

→ jamesho8743 : )即將用盡 第三就算前兩個不是問題 資金投資的規模 12/03 18:31

→ jamesho8743 : 也即將碰壁 現在投資的規模已經很大了 如果未來沒 12/03 18:31

→ jamesho8743 : 有更大的回報很難讓廠商砸更多的錢跟能源在這上面 12/03 18:31

推 helgalie: 未看先猜這包養網 12/03 18:31

→ houseguy : 能源是永遠不夠用的了 12/04 06:42

→ yunf : 早說過了 奧特曼前幾個月就在吵要核電 12/04 09:22

→ yunf : 早就說行不通他只是個屁孩 12/04 09:22