总结Fine-Tune ChatGLM3的过程part-1

了解一些训练过程中必备的知识点买一个公有云GPU服务器，了解训练过程回顾基础知识模型量化、计算机计算精度：FP32 使用32位存储一个数字FP16 16bit存一个数字。其中1位为符号，5位为指数，10位为尾数。INT8是 FP32的量化版本，其中浮点数用8位整数近似。（还是有计算过程的，不是随便舍弃，INT8可以反向推导出FP32）n-gram:统计语言模型，用于预测下一个词的概率。利用机率大小