请问如何在google的colab进行部署，我的显卡只有8g运行13B的有些吃力

[likuan123]

请问如何在google的colab进行部署，我的显卡只有8g运行13B的有些吃力

[ymcui]

各种量化部署方案（llama.cpp，transformers等）试试吧。