一位程序员打算挑战谷歌(Google)搜索,起点是他洗衣房里的两台个人电脑。曾在企业软件和游戏开发领域工作的瑞安·皮尔斯(Ryan Pearce)对构建搜索引擎所需的条件感到好奇。据《快公司》(Fast Company)报道,皮尔斯打造了两款搜索引擎:Searcha Page及其隐身模式变体Seek Ninja。这两款引擎均拥有超过20亿条目的数据库。虽然这还不到谷歌4000亿搜索索引的百分之零点五,但依然是个可观的数字,他预计在未来六个月左右将其翻倍。

Cover Image

这款自托管搜索引擎位于皮尔斯的家中——但他没有选择大多数人自托管时使用的低功耗树莓派或迷你电脑,而是选择了一颗二手的32核AMD EPYC 7532处理器,该芯片在2020年发布时曾是顶级工作站CPU。毕竟,要创建大型搜索引擎,就需要比入门级CPU更强大的配置。不过由于该处理器在本文撰写时已上市五年,现在只需不到200美元就能轻松买到二手货。“我本可以用同样价格买到线程数翻倍的芯片,但发热量会太大,”这位程序员告诉《快公司》

正是这个原因,两台服务器被安置在他的洗衣房里。皮尔斯最初将它们安装在卧室,但系统产生的热量让他无法舒适入睡。于是他将设备移至杂物间:一台放在壁架上,另一台辅助单元垫在几个小凳子上。两台设备通过延长线供电,连接互联网的网络线穿墙而过,他还制作了临时通风装置排放设备热量。“发热情况并非完全无法忍受,”皮尔斯表示,“但如果房门关闭时间过长,就会成为问题。”

这位程序员能运行大型搜索引擎的秘诀在于人工智能(AI)——但并非大多数人想象的那种AI。皮尔斯并未采用能总结搜索结果、替用户思考的前端AI工具,而是通过机器学习算法扩展查询关键词并理解用户语境。这使得搜索引擎能以谷歌几分之一的资源量交付相关结果。

皮尔斯称他正在逐块构建搜索引擎,目前已编写约15万行代码。但他表示实际迭代的代码量超过50万行,大部分修改都是为了降低代码对大型语言模型的依赖,使其在不依赖AI的情况下运行。这种技术使他能够创建复杂系统后,通过移除AI变量来锁定功能模块。

瑞安表示正考虑将搜索引擎从家中迁移至类数据中心设施。但由于不喜欢云服务,很可能会选择住宅附近的位置,以便随时现场访问服务器并进行维护。目前皮尔斯通过联盟式广告来为实现这个目标筹措资金。


文章标签: #搜索引擎 #AI技术 #自托管 #程序员 #谷歌挑战

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。