使用 GPTQ 量化的模型具有很大的速度优势，与 LLM.int8() 不同，GPTQ 要求对模型进行 post-training quantization，来得到量化权重。GPTQ 主要参考了
2023-08-28 16:44
这是一种实现对activation量化的方法，基本思想是通过训练来获得ReLU的一个clip参数a。
2020-11-03 15:21
基于Benchmark的性能测试量化指标方案是一种用于评估和量化系统性能的方法。通过使用Benchmark测试工具，该方案旨在提供可靠的性能数据，并使用具体的指标来衡量系统在各个方面的表现。本文将
2023-10-17 10:15
我们深入探讨实际器件与理想 DAC 传输函数的差异，以及如何量化这些差异。
2018-07-10 11:59
在这篇文章中，我们简要介绍了基本的量化概念和 TensorRT 的量化工具箱，然后回顾了 TensorRT 8 . 0 是如何处理 Q / DQ 网络的。我们对量化工具箱提供的 resnet50qat 示例进行了快速
2022-03-31 16:51
针对大语言模型 (LLM) 在部署过程中的性能需求，低比特量化技术一直是优化效果最佳的方案之一，本文将探讨低比特量化技术如何帮助 LLM 提升性能，以及新版 OpenVINO 对于低比特量化技术的支持。
2023-12-08 15:26
取样和量化是获取图像的目标是从感知的数据中产生数字图像，但是传感器的输出是连续的电压波形，因此需要把连续的感知数据转换为数字形式。这一过程由图像的取样与量化来完成。 数字化坐标值称为取样；数字化幅度值称为量化。
2018-05-12 04:46
本文提出双向块浮点（BBFP）量化格式及基于其的LLMs加速器BBAL，通过双向移位与重叠位设计显著降低量化误差，提升非线性计算效率，实现精度、吞吐量和能效的显著优化，相关成果被国际顶级会议 DAC 2025 接收。
2025-05-14 13:40
。 ADC的基本结构 一个基本的ADC由以下几个主要部分组成： 模拟输入 ：这是ADC接收模拟信号的接口。 采样电路 ：用于在特定时刻“捕捉”模拟信号的值。 量化电路 ：将采样值映射到有限数量的离散值。 编码
2024-10-31 10:34
