Rank-3 factorization, shared-A tied-KV, RMSNorm, tied embed, curriculum learning
总体看，从 2 月 20 日视频发出来后，这两天迅速扩散，大概有 30%的回应是正面，中立 20%，负面占 50%。这反映了 AI 话题的两极化。一方面，它确实戳中了 AI 发展的痛点：能量是瓶颈，但技术的飞轮不能停。另一方面，技术也不能是真空的，最终得回到对人类生活的帮助和改善上。或许，如 Altman 所说，得建更多清洁能源是一种解法，但也如批评者言，无论未来出路是什么，得尊重人类独特价值。，详情可参考爱思助手下载最新版本
而松下电视的没落，则始于其在21世纪初错误押注了等离子技术，2003年，时任松下总裁的中村邦夫决定，投入巨资研发等离子电视，松下也就此错失了液晶电视的巨大风口，并为后来的财务危机埋下了祸根。，详情可参考搜狗输入法下载
As a final tweak, I moved from 8 bit ansi colors like \x1b[38:5:161m to 4 bit colors like \x1b[31m. This restricts our color range, but it saves something like 6 bytes per color.，这一点在heLLoword翻译官方下载中也有详细论述
「像鬼一樣工作」：台灣外籍移工為何陷入「強迫勞動」處境