GPU vs TPU vs LPU

-

 There are hot debate on which form of AI processors could be better, or what processors would dominate the market later. 

From my knowledge,

- Nvidia GPU - use HBM, flexible in different AI model and application, proven technology

- Google TPU - use HBM too. rigid kind of use in AI. lower cost and lower power requirement. More efficient that GPU. 

- Groq LPU - use SRAM. specific for certain use in AI, like language processing. Good for inferencing use.  lower cost, 1/5 cost of GPU 

My speculation for next 3-5 year. 

Since Nvidia acquires LPU technology, it would offer flexibility with balanced cost. Use of LPU could focus on certain part of AI processing. It makes a balance. 

Therefore, the use of NVDA solution vs TPU or alike would be around 7:3

What is expected from 5-10 years later?

As AI becomes more mature, TPU alike solution would prevail.

I would expect 50:50 split between NVDA vs TPU alike, and eventually  3:7.

Anyway, I will make bet on both NVDA and GOOG. Both are good at the moment


Kenzo

2026 Jan 5


Note: 

https://towardsdev.com/meet-groq-making-large-language-models-lightning-fast-0f8a885073b9

Comments

Post a Comment

Popular posts from this blog

財務自由的考慮 #1

-
財務自由係好多打工仔的夢想，並不是不工作，而是有了自由想工作可以，不工作也可以。有選擇，才會感到開心，不然逼自己工作，害怕失去收入，成為心理負循環。 達至財務自由，有幾點需要考慮 - 累積財富，通過勤奮工作，做生意，最後是投資 - 年紀考慮，什麼時候退下來，大概活到什麼時候 - 開支考慮，什麼是必要支出，家庭，子女，供樓等 - 投資portfolio如何 - 準備在什麼地方生活，這會影響到實際開支 勤奮工作，打從有收入，就應該累積cash，個人建議最好30%-50%收入能存下來，準備做投資。年輕時對很多事情都會有興趣，比如去旅行或試不同體驗，要花錢，30歲前，盡量從10%存起。 年紀考慮是看看你準備靠財富活多少年，比如你準備活到90歲，現在只40歲，那就必須有50年的花費。簡單算法，比如一年用10萬，那就50年，需要最少500萬，前提是假設投資能蓋過通脹。 另外有一種算法，叫FIRE 4% rule，就是每年花財富的4% as withdrawal rate，就可以一直活下去，比如你有100萬，每年只花4萬，假設投資是成功的，收益超過4%+通脹率，就能一直維持。這邊不詳細介紹，網上或youtube上有很多討論。 比如，https://www.moneyhero.com.hk/zh/investment/blog/%E8%B2%A1%E5%8B%99%E8%87%AA%E7%94%B1-%E5%A6%82%E4%BD%95%E6%88%90%E7%82%BAfire%E6%97%8F 實踐上，4%不夠安全，因為assume投資是一帆風順，但實際可能不能如意。 綜合考慮長壽風險和回報順序風險，一個比4%更為保守的安全提取率（Safe Withdrawal Rate, SWR）是絕對必要的，務實的風險管理。 多項更新的研究，分析了更長的退休期。結果顯示，對於40年或50年的退休期，4%的提取率成功率會降至90%以下，甚至更低。相比之下，將提取率降至3.5%，成功率則能回升至98%以上，即使是100%股票的投資組合也是如此 。 然而，學術研究往往忽略了現實世界中的摩擦成本。4%法則本身並未考慮投資管理費、交易成本以及從退休賬戶提款時可能產生的稅項 。這些費用會直接蠶食回報和本金。此外，生活中總有預期之外的開支，例如緊急醫療費用或家庭支援 。 因此，為了建立一個真正能安枕無憂...
Read more

財務自由的考慮 #5 - 4% rules

-
Image
 關於FIRE 4% rule，我有以下演繹和看法。 比如有100元資金，那開銷4%是4元，那麽，究竟是每年開銷 a)  是每年資金的4% b) 還是4元，按通脹每年增加 如果是(a), 那就是投資賺多了，就可以用得多，比如第二年，有120元，那就是4.8元可以用。但反過，如果投資不好，變為80元，就是3.2元，生活費大降，一般人對這種調整是很難做到的。 所以，一般以(b)來計算比較合適。 另一個是投資回報率，是必須高於4%+通脹率，例如近年通脹率為3%以下，那投資回報率最少有7%，那就可以確保50年或更多不會用盡所有。 這7%可以包含不同投資產品和方法，比如債券，股票，crypto，黃金等等，目的是平均要蓋過4元開銷和通脹帶來的開銷增加和資金購買力減少。 另一個角度去看，如果每年花4%，只要投資抵住通脹，就有25年的錢可以用。 以下兩個simulation， 1.  資金100元，投資回報率7%，通脹率3%，第一年開銷是4元。 理論上，要70年左右才完全花光，而且每年開銷並不是4%，而是更高。第50年，開銷大概是資金的6.5% 2） 資金100元，投資回報率5%，通脹率10%，第一年開銷是4元. 那第17年開始赤字了，財務不能自由了。 所以，確保投資回報率足夠應付未來所需，一般來說SP500長年回報平均有10%左右，看來是足夠的，但必須考慮到 - 投資風險，回報可能不達標，或者-10%是很可能的 - 通脹增加，沒人能估計10年後是怎樣 所以，用保守方法，我的4% rule會是 - 每年開銷，少過4%，甚至2% only 這樣就有50% margin，比如投資回報率變一半，或暫時負數，又或者通脹突然增加。 如果2%是恆常開銷，那就有1-2%空間我可以亂花，比如買些貴東西，你喜歡車，可以買台新車，去次北極之旅等。生活變豐富些，不是只是生存而已。這是建立於投資成功才可。  還有一點，當年紀越大，可以考慮調整債券比重，變為保守一點。 最後，就是善于選擇投資，如果年回報有15%以上，那基本上，你會有花不完的錢，那就看你眼光和膽量，對投資市場的認識有多透徹。 Kenzo 24 Dec 2025
Read more

財富方程式

-
 在一些討論中，有兩個方程式想寫下來，這是有點關於人生財務考量和幸福滿足感的考量。 財富 = 賺錢能力 - 慾望 有人說，解決了金錢財務問題，你人生已經少了一半以上問題了。確實，錢可以解決不少問題，它是一種soft power，而你生大病時錢是變得非常重要。 減低慾望是一個必須修煉的過程，想買這買那，花這花那，除非你是有用之不盡的財富，這種人並不多，不計富二代那種，一個人有10年好的財運，已經不錯，要有60年以上財運，難。 所以，如果不想預支未來，財富變負數，就必須減低自己的慾望。很多人用信用卡借錢消費，我個人從來不做，不可以先洗未來錢。除了買房子會借銀行錢，其他情況就如買車，我都不會去貸款，為什麼要把利息給人賺？ 另一個，就是人生幸福滿足感的看法 幸福滿足感 = (財富 + 能力) x  運氣  + 環境條件 + 健康 - 慾望 - 煩惱 - 責任 上面的不用過多解釋，唯一提一下，慾望和煩惱是個人決定的，很多人是自尋煩惱的類別。有時間會修正一下想法，這些只是一個大概。 運氣，其實是一個頗重要成份。 Kenzo 2026 Jan 31
Read more