· 留意力头多达64个，· 词表跨越20万，这是很多模子扩展上下文的一种体例（如GPT-4 Turbo利用的体例）；他不只也正在Hugging Face上发觉这个模子，· 大规模MoE设置（128个专家，正在只要不到「1分钟」的时间窗口！oss代表开源软件，gpt属于OpenAI，可能支撑多语种或代码夹杂输入；Jimmy Apples保留了设置装备摆设，· 上下文窗口为4096，幸运的是，意味着模子用的是是Multi-QueryAttention（MQA）。共有三名。具备以下几个特点：· 36层Transformer，