ITCOW牛新网 9月29日消息，AMD公司近日在Huggingface平台发布了其首款小型AI语言模型——AMD-Llama-135m。这款模型以“推测解码”能力为卖点，旨在通过优化算法减少内存占用。
据报道，AMD-Llama-135m模型拥有6700亿个token，采用Apache 2.0开源许可，允许开发者自由使用和修改。模型地址可通过点击此处访问。
该模型的“推测解码”技术通过使用小型草稿模型生成候选token，再由更大的目标模型进行验证，从而实现在不影响性能的情况下，每次前向传递生成多个token，显著降低RAM的占用，提高运行效率。
AMD透露，该模型在四个AMD Instinct MI250节点上训练了六天，而其“编程专用版本”AMD-Llama-135m-code则额外花费了四天时间进行微调。