您的当前位置:首页 > 焦点 > 奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快 正文
时间:2025-01-08 01:46:36 来源:网络整理 编辑:焦点
12月30日消息,据媒体报道,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型LLM)。这台主频350MHz电脑成功启动进入Windows 98
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
斩获进球!莱奥当选对阵红星一役米兰队内最佳球员2025-01-08 01:13
CBA球员登陆耐高!国青队长李悦洲降维打击轰42分2025-01-08 01:09
图片报:若穆科科年龄造假,他将失去最年轻德甲首秀等多项纪录2025-01-08 01:09
[流言板]凯尔特人上赛季遭遇第8负时,已经取得28场胜利2025-01-08 00:37
在萨卡进球的情况下,阿森纳在欧冠从未输球2025-01-08 00:24
拉涅利:两队都试图取胜&平局是公正的,很高兴看到迪巴拉的状态2025-01-08 00:11
斯维拉尔:今天的扑救都不难,我们配得上得到更多2025-01-08 00:08
西甲第17轮看点:皇马冲击榜首 马竞高歌猛进2025-01-08 00:01
奥尔莫如果注册不了,巴萨还要掏一部分工资让奥尔莫替别人踢比赛2025-01-07 23:59
丰塞卡:红牌?我肯定过于激动了,但米兰遭受裁判的区别对待2025-01-07 23:28
记者:J罗继续正常训练,关于他离队的消息是哥伦比亚方面的谣言2025-01-08 00:40
[流言板]凯尔特人上赛季遭遇第8负时,已经取得28场胜利2025-01-08 00:33
莫塔:我们犯了一些不能允许的错误 现在考虑的是AC米兰和超级杯2025-01-08 00:27
[流言板]詹姆斯:我认为我们是非常出色的球队,但目前还不能夺冠2025-01-08 00:26
高通骁龙8 Elite最强版本现身:4.47GHz主频 史无前例2025-01-08 00:05
名宿:本赛季意甲更困难但国米能夺冠,欧冠&世俱杯改制只是为钱2025-01-08 00:04
金蝶闪耀第三届代博会 发力经营账及合规产品引领行业升级2025-01-08 00:01
罗体:佛罗伦萨和亚特兰大有意贝拉尔迪,球员很想参加欧冠2025-01-07 23:46
枪迷都看不下去了,摩根评论阿尔特塔言论:请告诉我他没这样说过2025-01-07 23:24
[流言板]宿敌!勇士与太阳下一次交手:2025年2月1日2025-01-07 23:12