埃隆·马斯克最近宣布，xAI公司开发的Grok 3大型语言模型（LLM）已经完成了预训练，其计算能力是Grok 2的10倍。虽然他没有透露太多细节，但从时间上看，Grok 3很可能是在Colossus超级计算机上进行预训练的，该计算机配备了大约10万个Nvidia H100 GPU。
马斯克在社交媒体上表示：“Grok 3即将推出，其预训练的计算能力是Grok 2的10倍。”这进一步证实了之前的报道，即Colossus超级计算机专门用于加速大规模的AI项目。使用如此庞大的计算资源进行预训练，也意味着Grok 3使用了大量用户生成的数据。
关于Grok 2的训练细节，虽然没有太多公开信息，但可以推测其使用的计算资源相对较少。尽管如此，Grok 2仍然在相对强大的计算资源上完成了预训练。
为了在激烈的市场竞争中保持优势，像xAI这样的公司需要像Colossus这样的超级计算机。更快、更大规模的预训练能力使得像Grok 3或GPT-4这样的先进模型能够更迅速地投入使用，这些模型通常包含数百亿个参数，训练过程涉及数万亿次浮点运算。因此，Colossus计划在未来几个月内扩展到20万个H100和H200 GPU，以便为Grok Next提供更强大的计算支持。
值得注意的是，xAI还计划在未来部署一个由超过100万个GPU驱动的超级计算机。该超级计算机将用于训练包含数万亿个参数的语言模型，其准确性和推理能力将远超Grok 3或GPT-4。这将使这些模型更接近通用人工智能的目标，这也是像xAI和OpenAI这样的公司追求的终极目标。
