现实里中二的专有名词
人类与猿类、猴类被分类在 灵长目 里。原拉丁文 Primates 的词源是 primas 或 primus,表示「第一的」「最主要的」。被翻译为汉字词语时,也许就以「万灵之长」的简写形态命名了吧。
普通火力发电的锅炉,其效率不够高。为了高效发电,以及将燃料烧干净的环保需求,就出现了「超临界锅炉」。该锅炉提供巨大的压力,从而使水能够变成不同于普通液态、气态的 超临界流体。
超临界流体的比热容更大,所以让发电效率更好。而当温度与压力更高时,就叫做 Ultra-supercritical(超超临界),如果未来的技术更先进,也许还会出现超超超临界锅炉吧。(笑)
大型语言模型的训练,需要非常多维的数据。早期的 GPT-2 Large 就使用了 1280 的词向量维度,而维度越多,计算的难度也会成指数倍增加,这便被称作 维数诅咒。
而近年突破这一诅咒的技术,应该就是 Google DeepMind 团队的 Transformer 架构(变形金刚的单数形式)。它在 2020 年带来了震撼世界的 GPT-3,其全称为 Generative Pre-trained Transformer 3,使用了 Transformer 架构。
#杂谈
人类与猿类、猴类被分类在 灵长目 里。原拉丁文 Primates 的词源是 primas 或 primus,表示「第一的」「最主要的」。被翻译为汉字词语时,也许就以「万灵之长」的简写形态命名了吧。
普通火力发电的锅炉,其效率不够高。为了高效发电,以及将燃料烧干净的环保需求,就出现了「超临界锅炉」。该锅炉提供巨大的压力,从而使水能够变成不同于普通液态、气态的 超临界流体。
超临界流体的比热容更大,所以让发电效率更好。而当温度与压力更高时,就叫做 Ultra-supercritical(超超临界),如果未来的技术更先进,也许还会出现超超超临界锅炉吧。(笑)
大型语言模型的训练,需要非常多维的数据。早期的 GPT-2 Large 就使用了 1280 的词向量维度,而维度越多,计算的难度也会成指数倍增加,这便被称作 维数诅咒。
而近年突破这一诅咒的技术,应该就是 Google DeepMind 团队的 Transformer 架构(变形金刚的单数形式)。它在 2020 年带来了震撼世界的 GPT-3,其全称为 Generative Pre-trained Transformer 3,使用了 Transformer 架构。
#杂谈