「越来越落后」的开源模型 Llama 3.1 ｜AI Insider#220

☕ Editor’s Note

🗓️ 2024.7.24 | Issue #220

今天重点推荐以下话题：

• Meta 正式发布 Llama 3.1，开源模型越来越落后了吗？
• AI 能源与算力短缺，核电、加密货币成为新「救星」；
• Google 云业务营收破百亿里程碑；

🔍 焦点

Meta 正式发布 Llama 3.1

Llama 3.1 包含三个不同参数规模的模型：8B、70B、405B。这是对今年 4 月发布的 Llama 3 的重大更新，耗资数亿美元，具备改进的推理能力和生成式 AI 功能，下图是 Meta 对 Llama 3.1 的评测成绩：

Bloomberg 的报道称，尽管投资巨大，Meta 仍坚持开源策略。扎克伯格表示，如果 AI 在未来与移动平台一样重要，Meta 就不能依赖竞争对手访问 AI。扎克伯格承认当前可能存在过度投资的风险，但认为这是为了避免在未来最重要的技术领域落后。

Meta 预计到 2024 年底将拥有约 35 万个英伟达 H100 GPU，下一代模型 Llama 4 也在紧锣密鼓开发之中。

扎克伯格亲自撰文的「Open Source AI Is the Path Forward」值得一看，他类比高性能计算发展历程，早期的主要科技公司都在开发自己的封闭源 Unix 版本，但最终开源的 Linux 因其可修改性、低成本和广泛的生态系统支持而成为行业标准。扎克伯格认为，AI 的发展将遵循类似的路径。

另外他还从开源之于开发者、Meta 以及全世界三个角度，全面阐释了开源模型的巨大价值，他最后呼吁开发者和合作伙伴共同参与，构建开源 AI 生态系统。

Meta 此番也的确拉来了重磅伙伴。英伟达在其官方技术博客里宣布，英伟达将为 Llama 3.1 系列提供全面优化和支持。英伟达不仅在其 H200 Tensor Core GPU 上实现了 Llama 3.1-405B 模型的强大推理性能，还为开发者提供了从数据生成到模型部署的全流程工具支持。

具体来看，英伟达通过 TensorRT-LLM 优化，使 Llama 3.1-405B 在 8 个 H200 GPU 组成的系统上，能够在不同输入输出序列长度下达到最高 399.9 tokens/s 的吞吐量。

同时，英伟达还提供了 NeMo 平台，支持数据生成、模型定制、评估等关键步骤。值得一提的是，Llama 3.1-8B 模型已针对 GeForce RTX 和 Jetson Orin 等平台进行了优化，实现了「从数据中心到边缘」的全面部署。

随着 Llama 3.1 405B 在不同平台陆续上线，其价格也略有不同，下图展示的是 OpenRouter 上不同供应商的价格：

价格不同的背后也是供应商对成本结构的考量，而这种差异在于各个供应商的基础设施能力，比如芯片成本、模型成本（是否降低模型精度）等等，你可以通过这篇分析详细查看现阶段 Llama 3.1 405B 的成本与速度对比。

🪫 能源

AI 热潮引发核电争夺战，科技巨头与传统用户角力

根据《华尔街日报》的报道，AI 的迅猛发展正推动科技巨头们争相锁定核电资源，这一趋势可能重塑美国能源格局。约三分之一的美国核电站正与科技公司洽谈，为新建的数据中心提供电力。

AWS 即将与美国最大核电站运营商 Constellation Energy 达成直接供电协议，这标志着科技行业对稳定、清洁能源的渴求达到新高度。然而，这种「抢占」核电的行为引发了多方担忧。批评者认为，将现有电力资源转移给科技公司可能会推高其他用户的电价，并可能影响电网可靠性。

这一趋势在康涅狄格、马里兰、新泽西和宾夕法尼亚等州引发了激烈讨论，涉及经济发展、能源分配和气候目标等复杂问题。随着 AI 产业对电力需求的急剧增长，如何在科技创新、能源安全和公平分配之间取得平衡，将成为政策制定者面临的重大挑战。

加密货币「矿工」们成为 AI 算力/能源供应商

根据《金融时报》的报道，比特币矿工正在积极寻求与人工智能公司合作，以振兴其日渐萎缩的收入。随着加密货币挖矿收益下降，矿工们正将目光投向 AI 行业，希望为其庞大的数据中心找到新的客户。

比特币挖矿公司拥有强大的计算设施和充足的能源供应，这恰好符合 AI 公司的需求。全球最大的比特币矿商之一 Core Scientific 已与 AI 云服务提供商 CoreWeave 达成了一项预计价值 47 亿美元的 12 年合作协议。其他矿商如 Hut 8 和 Hive 也纷纷成立 AI 部门或出租 GPU 算力。

💰 市场

Google 云业务营收破百亿里程碑

根据 CNBC 的最新报道，Alphabet 今天公布了 2023 年第二季度财报，呈现出喜忧参半的局面。

亮点方面，Google 云业务首次突破 100 亿美元季度收入大关，达到 103.5 亿美元，同时实现了超过 10 亿美元的季度运营利润。

然而，YouTube 广告收入成为了本季度的软肋。尽管同比增长至 86.6 亿美元，但未能达到分析师预期的 89.3 亿美元。这一结果反映出 YouTube 在面对 TikTok 等社交视频平台的激烈竞争中所面临的挑战。

Alphabet 第二季度总收入为 847.4 亿美元，同比增长 14%，均略微超出市场预期。CEO Sundar Pichai 强调了公司在 AI 领域的持续创新，但投资者似乎对 YouTube 的表现更为关注，导致 Alphabet 股价在盘后交易中下跌约 2%。

「AI 法律助手」Harvey 获 1 亿美元融资，估值飙升至 15 亿美元

根据 TechCrunch 的报道，OpenAI 支持的法律科技初创公司 Harvey 刚刚完成了 1 亿美元的 C 轮融资，公司估值达到 15 亿美元。

这轮融资由 Google 的企业风险投资部门 GV 领投，OpenAI、Kleiner Perkins、Sequoia Capital 等知名投资机构也参与其中。

Harvey 成立于 2022 年，由前 DeepMind 研究员 Gabriel Pereyra 和前诉讼律师 Winston Weinberg 共同创立。该公司开发了一款基于 OpenAI GPT-4 模型的「AI 法律助手」，能够回答自然语言的法律问题，协助律师完成文件编辑、法律研究等工作。

尽管 Harvey 面临着数据隐私和 AI 准确性等挑战，但公司发展势头强劲。目前已有包括 Allen & Overy、PwC 在内的数万名律师每日使用 Harvey 的服务。

「AI 界的超级工厂」—— xAI 启动全球最强大 AI 训练集群

Elon Musk 旗下的人工智能公司 xAI 近日在田纳西州孟菲斯启动了一个超级计算机集群。这个被非正式地称为「计算的超级工厂」的设施，配备了 10 万块英伟达 H100 GPU，成为目前世界上最强大的 AI 训练集群。

Musk 在社交平台 X 上宣布，该集群于当地时间凌晨 4:20 开始运行。这一重大里程碑标志着 xAI、X 和英伟达团队的成功合作。据估计，该项目的投资额可能高达 30 亿至 40 亿美元。xAI 计划利用这一强大的计算能力来训练其大型语言模型 Grok，Musk 表示这将成为「真正特别的东西」。