开发者将36.7万参数Transformer模型压缩至380KB,可在486 DOS电脑运行

该模型采用与大型语言模型相同的Transformer架构,但参数量仅为36.7万个,权重经8位量化后总大小约380KB,可存储于一张软盘之中。

开发者WollyMonjac近期完成了一个将语言模型部署至老旧硬件的项目:微型问答Transformer模型Tiny 2.1可在运行DOS系统的486DX和Pentium电脑上运行。该模型并非大型语言模型,但采用了与LLM相同的Transformer架构,使用Turbo C 2.0编写。

在技术配置上,Tiny 2.1的参数量为36.7万个,采用4层网络结构,隐藏维度为96,逐字母读取和生成内容。权重精度为8位量化,每行使用一个缩放系数,模型总大小约380KB,可容纳于一张软盘。训练数据包含约3500条事实信息,每条信息均采用多种不同问法进行训练。要在老式PC上运行该模型,系统需具备约540KB可用常规内存。

软件界面包含对话历史窗口、神经网络监控面板以及用于输入问题的Ask Tiny窗口,并按照DOS软件传统提供F键快捷操作。此外,该程序可通过PC内置扬声器以机器人语音朗读模型生成的回答。开发者对模型定位较为谦逊,GitHub项目页面介绍称该软件由Fable 5.2编写、Opus 5.5训练,并承认除训练数据涉及的知识外,模型会“非常自信地编造内容”。

该项目采用MIT许可证发布,软件包中提供专门的训练文件夹,用户可自行补充训练数据,构建针对特定领域的问答Transformer模型。近几个月,让现代软件运行在几十年前老硬件上的开发实践持续出现,包括为DOS系统制作ChatGPT客户端、在Game Boy上运行《我的世界》等。此类项目实用价值有限,但展示了开发者突破老旧硬件性能与存储限制的技术路径。

从企业服务与AI基础设施视角看,Tiny 2.1的意义不在于模型能力本身,而在于验证了极低算力与存储条件下Transformer架构的可行性。对于边缘计算、嵌入式设备及老旧工业系统的智能化改造而言,这种极端量化的模型部署思路提供了可参考的技术样本。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
阿里百度腾讯京东三季度财报拆解:AI收入加速变现,投入与回报仍待匹配
上一篇 2小时前
数智赋能,华为助力国家开放大学建设世界一流开放大学
下一篇 2024年11月24日 上午12:45

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部