幸いなことに知能情報コースにはTesla V100S付きのサーバが4台あるお陰で、実質的にGPU使い放題です。1台で LLM 8B ぐらいまでは辛うじて full パラメータ学習でき、13Bでも LoRA なら学習できるぐらいの環境。DeepSpeedとかで分散処理するともう少し大きなモデルまで学習できるかもしれませんが、そこは試していません。 この時期（12月）は卒論修論追い込みでもあるのでジョブ貯まりまくりかなと思ってたけれどもたまに覗く限りではスカスカ。たまに 1 job 動いてるのを見かけるぐらい。研究室の環境で十分ということかもしれないし、Google Colabの無料分で十分とか、ほんのり課金で事足りてるかもしれないし、 …

続きを読む