前文说过，用Megatron做分布式训练的开源大模型有很多，我们选用的是THUDM开源的CodeGeeX（代码生成式大模型，类比于
2023-06-07 15:08
本文我们将总结5种搭建开源大语言模型服务的方法，每种都附带详细的操作步骤，以及各自的优缺点。
2024-10-29 09:17
low是一种可逆生成模型（reversible generative model），也被称为基于流的生成模型（flow-based generative model）。目前，学界还很少关注基于流的生成模型，因为GAN
2018-07-11 09:46
BigCode 是一个开放的科学合作组织，致力于开发大型语言模型。近日他们开源了一个名为 SantaCoder 的语言模型，该模型拥有 11 亿个参数
2023-01-17 14:29
对此，ByteDance Research 基于开源的多模态语言视觉大模型 OpenFlamingo 开发了开源、易用的 RoboFlamingo 机器人操作模型，只用
2024-01-23 16:02
人类语言与蛋白质有很多共同点，至少在计算建模方面。这使得研究团队将自然语言处理（NLP）的新方法应用于蛋白质设计。其中，德国Bayreuth大学Birte Höcker的蛋白质设计实验室，描述了基于OpenAI的GPT-2的语言模型ProtGPT2，以基于自然序列
2022-09-08 16:24
baichuan-7B 主要是参考LLaMA进行的改进，且模型架构与LLaMA一致。而在开源大模型中，LLaMA无疑是其中最闪亮的星，但LLaMA存在如下问题： LLaMA 原生仅支持 Latin
2023-06-17 14:14
对于所有“基座”（Base）模型，–template 参数可以是 default, alpaca, vicuna 等任意值。但“对话”（Chat）模型请务必使用对应的模板。
2024-03-13 14:56
最近，清华大学自然语言处理实验室等支持的开源社区OpenBMB （Open Lab for Big Model Base）发布了ToolBench项目，可以帮助开发者构建开源、大规模、高质量的指令调优数据，促进构建具有通用工具使用能力的大型语言
2023-06-08 11:39
