刚才在学校的公共GPU节点vLLM跑推理（不同的人的环境在不同的k8s pod 学校没做资源隔离 所以1.5T的内存是共享的）
隔壁学院某位人才，训练加载数据集的时候没做流式加载，试图一口气加载到内存
成功把内存撑爆 带走整个节点以及在这个节点上跑的所有环境
怎么能有人这么蠢.jpg
如果非要选出一个蠢货，那还是负责维护这套东西并且相信共享用户的自觉性与能力以及所有程序的健壮程度的人更蠢一些 ^-^
怎么能指望学校的草台班子能有正经负责搞Infra的人呢 ^-^
明显是 学校的问题啊
pod 加个最大内存/cpu/硬盘 限制, 这是最起码的
这次还好是内存, cpu/硬盘 是真能坏硬件的
自己不加就不要怪别人怎么用
这个文采还是有说法的，不过学校而已了
这时候用kubesphere还有个ns资源隔离，这属于一开始维护的时候就没考虑。
还要开流式加载多麻烦
都用 pod 了当然一次塞满，爆了管他去死
学校直接采购的某潮的一整套方案
不知道是校方当时和他们一起配置的时候没想到
还是他们这方案就没考虑到限制内存分配（
亦或者纯粹是学校的人犯懒了
