2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。 「9.9 和 9.11 到底哪个大？」这个问题一度难坏了各家大模型。 关于模型为什么会答错，研究人员给出了各种猜测，包括预训练数据的构成和模型架构本身。 在一篇新博客中，来自 HuggingFace 的研究者讨论了可能造成这 ...

Researchers from InstaDeep and NVIDIA have open-sourced Nucleotide Transformers (NT), a set of foundation models for genomics ...

【本文由小黑盒作者@CelecoxibCOX2于12月28日发布，转载请标明出处！】 众所周知，各家商业ai几乎都有自己的审查机制，其中部分哪怕通过提示词破盾也很难绕过（点名GPT），这极大程度的妨碍了我们与AI大人进一步增进感情，所以完全自主的、无限制的、能够涩涩的（？）开源模型就成了我们最佳的选择之一。

Hugging Face, Nvidia, Johns Hopkins University, along with Answer.AI and LightOn, announced a successor to the encoder-only ...