如何加速大模型的响应速度

[doggie]

使用vllm

• https://www.youtube.com/watch?v=McLdlg5Gc9s

通过量化、剪枝、蒸馏、二值化简化模型

• https://www.youtube.com/watch?v=jW2cmZ-9hLk
• 量化：把浮点数简化成整数，比如123.456789简化成123.5