对于Decoder-only的模型，计算量(Flops), 模型参数量, 数据大小(token数)，三者满足:。(推导见本文最后) 模型的最终性能主要与计算量，模型参数量和数据大小三者相关，而与模型的具体结构(层数/深度/宽度)基本无关。
2023-11-29 14:28
纵轴是"Bits for words", 这也是交叉熵的一个单位。在计算交叉熵时，如果使用以 2 为底的对数，交叉熵的单位就是 "bits per word"，与信息论中的比特（bit）概念相符。所以这个值越低，说明模型的性能越好。
2023-11-22 16:08
现代无线基础设施系统使用运行CPRI（普通公共射频接口）协议的光纤传输频率、相位、复合数据和控制信息。人们对无线数据的需求一直在呈指数式增加。运营商和设备供应商都在努力设法减小在基带单元和无线单元之间运行多根高数据速率光纤所需的资本投资和运维成本。
2021-06-29 14:01
现代无线基础设施系统使用运行CPRI(普通公共射频接口)协议的光纤传输频率、相位、复合数据和控制信息。人们对无线数据的需求一直在呈指数式增加。运营商和设备供应商都在努力设法减小在基带单元和无线单元之间运行多根高数据速率光纤所需的资本投资和运维成本。
2020-02-05 10:12
DISC-LawLLM是基于我们构建的高质量数据集DISC-Law-SFT在通用领域中文大模型Baichuan-13B上进行全参指令微调得到的法律大模型。值得注意的是，我们的训练数据和训练方法可以被适配到任何基座大模型之上。
2023-09-28 17:34
奈奎斯特抽样定理（Nyquist Law）：要从抽样信号中无失真地恢复原信号，抽样频率应大于2倍信号最高频率。抽样频率小于2倍频谱最高频率时，信号的频谱有混叠。抽样频率大于2倍频谱最高频率时，信号的频谱无混叠。
2019-06-12 09:01
“基于已确认存在有10万个适合生存的恒星系统，优选可移民的星系”，命题看似脑洞大开，实际上要解决的是太空运行轨道的设计问题。在题目中，中心力定律（The central-force law）控制着恒星和船只的运动。
2019-07-18 15:04
具体来看，对于传统的机器学习算法，模型的表现先是遵循幂定律（power law），之后趋于平缓；而对于深度学习，该问题还在持续不断地研究中，不过图一为目前较为一致的结论，即随着数据规模的增长，深度
2019-05-05 11:03
明显进步，但摩尔定律(Moore’s law)开始面临挑战，处理能力提高带动降价的脚步开始放缓。诸如量子运算等创新也还无法使其复苏或加速，不过现在还为时尚早，未来还有很多的不确定性。
2018-07-12 15:42
在过去的几年中，多种技术朝着一个方向发展 这为5G提供了解决方案。首先，从基带的角度来看，摩尔的 Law不仅继续降低每个栅极的硅成本，而且能够实现更多 集成到无线电技术中的复杂功能。现在可以 将许多
2022-12-15 14:50
