(资料图)
文/陈根
研究机构Epoch AI认为,对数据需求急剧增加,以至于可用于训练的高质量文本可能会在2026年耗尽。
大模型的核心三要素就是算法、算力与数据,而决定着大模型智商水平的核心就是数据,数据就如同人类的知识教育输入一样,输入高质量的知识,相对而言就能产出高质量的认知。
而大模型对于数据的学习能力则取决于算力,当算力不断提升的情况下,就意味着大模型学习人类数据的能力越来越快,而人类社会所产出高质量数据的能力将远落后于大模型的学习能力。
那么根据算力演变,以及人类社会产生数据能力的模型推算,训练大模型的数据将在2026年耗尽这是完全可能,甚至在很多领域会更快的被耗尽。
因此,从这个层面来看,掌握着产业核心数据的公司将是接下来重点需要关注的领域。这也正是我一直所说的,要关注行业垂直领域,拥有着核心数据的公司,这些公司在叠加了AI技术之后,将很快训练出行业垂直性的专业小模型。
而从商业落地价值实现的层面来看,专业小模型比通用大模型更快的实现商业变现与行业变革的能力。同样,这也让我们看到,没有掌握核心数据的公司,不论是谈论大模型,或是谈论小模型,本质上都只是炒作。因为没有数据,就不可能训练出相应的模型。
原文标题 : 陈根:大模型之难!3年后,数据可能会耗尽?
标签: