免费 GPU 或廉价算力

1. 显卡需求和推荐模型

使用 int4 + QLora 训练（效果并不会比Full-finetuning差多少，lora rank设置较大且应用到所有层）
8K 上下文时，显存16GB的显卡则可以训练 20B 以下模型，显存24GB的显卡则可以训练 32B（含）以下模型。

推荐微调 1-7B 模型。推荐性价比显卡：4090，计算能力和显存带宽都足够好，比L40等商业卡还好用。

2. 服务商

• https://colab.research.google.com/
  • 【需翻墙】
  • 免费提供 T4 等显卡，显存16GB
• https://modelscope.cn/
  • 新用户赠送 100h GPU 时间（16G、24G显卡）
• https://aistudio.baidu.com/
  • 每日签到可以领取免费 GPU 时间，但是限制框架只能使用 Paddle
• https://console.ebcloud.com/
  • 注册送 50元，4090显卡 2元/小时
• https://www.autodl.com/
  • 显卡型号众多（适合测试模型在不同显卡上的性能），4090 2-3元/小时
• https://www.suanlix.cn/
  • 4090 2-3 元/小时
  • 有香港节点，下载模型和安装环境比较方便
• https://www.runpod.io/
  • 国外较大服务商，下载模型和安装环境比较方便
  • 4090 折约 4元/小时

3. 其他

建议开通对象存储服务（百度云、阿里云等），将打包好的 Docker 训练镜像、训练结果、数据集、工作目录等持久化到对象存储中。

国内节点配置要点：

• pip源：https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
• conda源：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
• Huggingface 代理：https://hf-mirror.com/