深度学习个人使用选择1*A100还是6*3090？
之前一直用的是32g的V100，多个实验一起丢在V100上感觉训练速度降的非常严重，是不是在单卡上跑多个实验有科学合理的使用方法能在利用完显存的同时保持训练速度？

另外就是标题的问题，预算只够考虑单张A100或者六张3090，看了一些文章说是A100在开启tensor
core的时候才有速度优势，具体的情况是怎么样，使用的时候需要对代码进行调整吗？

感谢回答
NV把3090的tensor core阉割了一刀，名义上是142T，实际上你不太可能用fp16做accumulate，而fp32accumulate的算力就只有71T。

同款GA102的A6000和A40就没这毛病，实实在在的150T。

相比之下A100是312T，真的是一卡更比四卡强——但是，一般模型中有大量访存操作，特别是现在到处都是residual connection和layernormalization，而A100即使是SXM版本，显存带宽也只有1555G，只比3090的936G高了70%。——但是，多卡训练通信开销在没有NvLink的情况下是非常明显的，对于数据并行，如果等效batchsize相比模型大小不够大，通信开销很容易超过20%。