发文章
发资料
发帖
提问
发视频
0
搜索热词
MQA (Multi Query Attention，多查询注意力) 是多头注意力的一种变体。其主要区别在于，在 MQA 中不同的注意力头共享一个K和V的集合，每个头只单独保留了一份查询参数。
2023-12-04 15:24
