您的当前位置:首页 > 时尚 > 奔腾2 CPU+128MB内存成功运行Llama大模型:速度还挺快 正文
时间:2025-01-05 13:49:16 来源:网络整理 编辑:时尚
12月30日消息,据媒体报道,EXO Labs最近发布了一段视频,展示了在一台26年历史的Windows 98奔腾2 PC上运行大模型LLM)。这台主频350MHz电脑成功启动进入Windows 98
12月30日消息,奔腾据媒体报道,存成EXO Labs最近发布了一段视频,功运展示了在一台26年历史的行L型速Windows 98奔腾2 PC上运行大模型(LLM)。
这台主频350MHz电脑成功启动进入Windows 98系统,大模度还随后EXO启动了基于Andrej Karpathy的挺快Llama2.c定制的纯C推理引擎,并要求LLM生成关于“Sleepy Joe”的奔腾故事,令人惊讶的存成是生成速度相当可观。
EXO Labs的功运这一壮举并非偶然,该组织自称为“民主化AI”而生,行L型速由牛津大学的大模度还研究人员和工程师组成,他们认为,挺快少数大型企业控制AI对文化、奔腾真理和社会的存成其他基本方面是不利的。
因此,功运EXO希望建立开放的基础设施,训练前沿模型,并使任何人在任何地方都能运行它们,这项在Windows 98上的AI演示,展示了即使在资源极其有限的情况下也能完成的事情。
EXO Labs在文章中详细描述了在Windows 98上运行Llama的过程,他们购买一台旧的Windows 98 PC作为项目基础,但面临了许多挑战。
将数据传输到老设备上就是一个不小的挑战,他们不得不使用“老式的FTP”通过古老机器的以太网端口进行文件传输。
编译现代代码以适应Windows 98可能是一个更大的挑战,EXO找到了Andrej Karpathy的llama2.c,可以总结为“700行纯C代码,可以运行Llama 2架构模型的推理”,Karpathy曾是特斯拉的AI主管,也是OpenAI的创始团队成员。
利用这个资源和旧的Borland C++ 5.02 IDE和编译器(以及一些轻微的调整),代码可以被制作成Windows 98兼容的可执行文件并运行,GitHub上有完成代码的链接。
使用260K LLM和Llama架构在Windows 98上实现了“35.9 tok/s”的速度,根据EXO的博客,升级到15M LLM后,生成速度略高于1 tok/s,Llama 3.2 1B的速度则慢得多,为0.0093 tok/s。
[流言板]公牛官方:球队将裁掉DJ2025-01-05 13:38
库尼亚自上赛季开始后联赛非点球进球21个,英超同期最多2025-01-05 13:24
再抓不住就真没了!史上最烂的曼市德比,却是曼城卫冕最后的机会2025-01-05 13:01
曼联前18轮13场上半场都未能取得进球,只有南安普顿的14场更多2025-01-05 12:53
[流言板]米尔顿命中半场三分可惜不算,篮网三节落后魔术25分2025-01-05 12:36
世体:巴萨今日迎奥尔莫注册最终听证会,已准备应对不利情况2025-01-05 12:22
余承东怒赞华为Mate 70:兄弟们做得好 一起去找下一个未来!2025-01-05 12:15
[流言板]马刺上次在圣诞前取得15胜还是6年前,核心为德罗赞&阿德2025-01-05 12:10
[流言板]Shams:道格2025-01-05 12:07
vivo系统新增“仅开屏禁止”传感器选项:从源头杀死摇一摇广告2025-01-05 11:42
挪超球队罗森博格有意中国球员侯永永,他们的报价被兰黑姆拒绝2025-01-05 13:42
马卡报:阿拉巴复出在即,将从明天开始回到皇马合练中2025-01-05 13:34
双旦购机就选华为nova 13系列:性价比之选“nova 13香”2025-01-05 13:24
联发科端侧AI新突破:天玑全面优化微软小语言模型Phi2025-01-05 13:24
今天有点硬!恩比德谈赛前崴脚:情况还好 但圣诞大战必须打2025-01-05 13:17
能否实现?亚马尔:我想要拿到世界杯、欧冠、西甲冠军以及金球奖2025-01-05 13:04
再抓不住就真没了!史上最烂的曼市德比,却是曼城卫冕最后的机会2025-01-05 12:59
台积电3nm拿下高通骁龙8 Elite 2订单!三星无奈瞄准骁龙8 Elite 32025-01-05 12:32
售价3.38万!《黑神话:悟空》天命人1/1雕像截单 全球限量780体2025-01-05 12:18
7球3助攻,库尼亚最近10场联赛直接参与10个进球2025-01-05 11:28