2023年9月4日 · TinyLlama 项目旨在3万亿tokens上进行预训练，最终构建一个拥有11亿参数的，基于 Llama架构 的语言模型。 经过精心优化，我们仅需16块 A100-40G GPU，预计90天完 …

2024年1月19日 · 想要从零开始训练一个中文的mini大语言模型，目前的目标是学习和尝试使用各种方法训练和优化模型，最终训练一个较小的模型可以进行基本的对话，具体模型大小根据手 …

周末闲暇时间使用3090单卡在两天内从零开始预训练，并结合SFT（Supervised Fine-tuning）方法，打造出了一个迷你版的中文 Llama2 模型，该模型可以具备简单的中文问答能力，同时在针 …

2023年9月4日 · With some proper optimization, we can achieve this within a span of "just" 90 days using 16 A100-40G GPUs 🚀🚀. The training has started on 2023-09-01. We adopted exactly …

2024年5月27日 · 为了贴近主流，于是打算预训练一个 LLaMA 3——不过是超迷你版本，大小仅不到 20M。 想起来曾经看到过的微软的工作 TinyStories，探索的是语言模型在多小的情况下还 …

2023年9月4日 · Besides, TinyLlama is compact with only 1.1B parameters. This compactness allows it to cater to a multitude of applications demanding a restricted computation and …

TinyLlama is a compact model with only 1.1B parameters. This compactness allows it to cater to a multitude of applications demanding a restricted computation and memory footprint. Hugging …

2024年1月4日 · We present TinyLlama, a compact 1.1B language model pretrained on around 1 trillion tokens for approximately 3 epochs. Building on the architecture and tokenizer of Llama …

Miniature Alpacas stand less than 32 inches at the shoulder. A male Alpaca is called a “macho”. A female Alpaca is called a “hembra”. It takes a female Alpaca eleven months to have a baby …

该研究表示仅需 16 块 A100-40G 的 GPU，便可在 90 天内完成 TinyLlama 的训练。 该项目从上线开始，持续受到关注，目前星标量达到 4.7K。 TinyLlama 模型架构详细信息如下所示： 训练 …