探秘Transformer系列之（27）--- MQA & GQA

探秘Transformer系列之（27）--- MQA & GQA


目录

• 探秘Transformer系列之（27）--- MQA & GQA
  
  
  
  • 0x00 概述
    
  • 0x01 MHA
    
    
    
    • 1.1 概念
      
    • 1.2 实现
      
      
      
      • 1.2.1 哈佛
        
      • 1.2.2 llm-foundry
        
      
      
    • 1.3 资源占用
      
    
    
  • 0x02 MQA
    
    
    
    • 2.1 概念
      
    • 2.2 实现
      
      
      
      • 1.2.1 精简版
        
      • 1.2.2 完整版
        
      
      
    • 2.3 效果
      
      
      
      • 2.3.1 内存
        
      • 2.3.2 速度
        
      • 2.3.3 表征能力
        
      • 2.3.3 通信
        
      
      
    
    
  • 0x03 GQA
    
    
    
    • 3.1 概念
      
    • 3.2 架构比对
      
    • 3.3 实现
      
      
      
      • 3.3.1 精简版
        
      • 3.3.2 完整版
        
      
      
    • 3.4 效果
      
      
      
      • 3.4.1 内存
        
      • 3.4.2 速度
        
      • 3.4.3 表征能力
        
      
      
    • 3.5 转换
      
      
      
      • 3.5.1 平均池化
        
      • 3.5.2 基于掩码
        
        
        
        • 网络转换
          
        • 找到更好的分组方法
          
        • 剪枝训练
          
        
        
      
      
    • 3.6 优化
      
    
    
  • 0xFF 参考
    
  
  

0x00 概述

在前文“优化KV Cache"中我们提到过，在”减少注意力头的数量“这个维度上，目前主要的相关工作有 MQA和GQA。MQA 和 GQA 是在缓存多少数量KV的思路上进行优化：直觉是如果缓存的KV个数少一些，显存就占用少一些，大模型能力的降低可以通过进一步的训练或者增加FFN/GLU的规模来弥补。
因为MQA和GQA是基于MHA进行改进，所以我们用下图展示了三者的区别。可以看到，通过缩减注意力头数目，MQA/GQA会降低KV Cache存储，让不同的注意力头或者同一组的注意力头共享一个K和V的集合，因为只单独保留了一份（或者几份）查询参数。因此K和V的矩阵仅有一份（或者几份），这大幅度减少了显存占用，使其更高效。另外，传统的基于MHA的Attention算子过于卡访存带宽，MQA和GQA，乃至后续的MLA都可以提计算访存比，这样也是对性能的极大提升。

注：

• 全部文章列表在这里，估计最终在35篇左右，后续每发一篇文章，会修改此文章列表。cnblogs 探秘Transformer系列之文章列表
  
• 本系列是对论文、博客和代码的学习和解读，借鉴了很多网上朋友的文章，在此表示感谢，并且会在参考中列出。因为本系列参考文章太多，可能有漏给出处的现象。如果原作者发现，还请指出，我在参考文献中进行增补。
  

0x01 MHA

因为MQA，GQA是基于MHA进行修改，所以我们有必要先回顾下MHA。
1.1 概念

MHA（即多头注意力机制）在2017年就随着Transformer原始论文"Attention Is All You Need"一起提出，其主要工作是：把原来一个注意力计算拆成多个小份的注意力头，即把Q、K、V分别拆分成多份，每个注意力头使用独立的Q、K、V进行计算。而多个头可以并行计算，分别得出结果，最后再合回原来的维度。

我们通过下图来看看MHA的流程，这里设
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

不错，里面软件多更新就更好了

很好很强大  我过来先占个楼 待编辑

前排留名，哈哈哈

过来提前占个楼

热心回复！

谢谢分享，试用一下

新版吗？好像是停更了吧。

分享、互助 让互联网精神温暖你我

感谢分享，学习下。

热心回复！

感谢发布原创作品，程序园因你更精彩

感谢分享

前排留名，哈哈哈

谢谢分享，辛苦了

感谢分享，学习下。

热心回复！

yyds。多谢分享

收藏一下   不知道什么时候能用到

前排留名，哈哈哈