开发者WollyMonjac近期完成了一个将语言模型部署至老旧硬件的项目:微型问答Transformer模型Tiny 2.1可在运行DOS系统的486DX和Pentium电脑上运行。该模型并非大型语言模型,但采用了与LLM相同的Transformer架构,使用Turbo C 2.0编写。
在技术配置上,Tiny 2.1的参数量为36.7万个,采用4层网络结构,隐藏维度为96,逐字母读取和生成内容。权重精度为8位量化,每行使用一个缩放系数,模型总大小约380KB,可容纳于一张软盘。训练数据包含约3500条事实信息,每条信息均采用多种不同问法进行训练。要在老式PC上运行该模型,系统需具备约540KB可用常规内存。
软件界面包含对话历史窗口、神经网络监控面板以及用于输入问题的Ask Tiny窗口,并按照DOS软件传统提供F键快捷操作。此外,该程序可通过PC内置扬声器以机器人语音朗读模型生成的回答。开发者对模型定位较为谦逊,GitHub项目页面介绍称该软件由Fable 5.2编写、Opus 5.5训练,并承认除训练数据涉及的知识外,模型会“非常自信地编造内容”。
该项目采用MIT许可证发布,软件包中提供专门的训练文件夹,用户可自行补充训练数据,构建针对特定领域的问答Transformer模型。近几个月,让现代软件运行在几十年前老硬件上的开发实践持续出现,包括为DOS系统制作ChatGPT客户端、在Game Boy上运行《我的世界》等。此类项目实用价值有限,但展示了开发者突破老旧硬件性能与存储限制的技术路径。
从企业服务与AI基础设施视角看,Tiny 2.1的意义不在于模型能力本身,而在于验证了极低算力与存储条件下Transformer架构的可行性。对于边缘计算、嵌入式设备及老旧工业系统的智能化改造而言,这种极端量化的模型部署思路提供了可参考的技术样本。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。