実質使い放題

幸いなことに知能情報コースにはTesla V100S付きのサーバが4台あるお陰で、実質的にGPU使い放題です。1台で LLM 8B ぐらいまでは辛うじて full パラメータ学習でき、13Bでも LoRA なら学習できるぐらいの環境。DeepSpeedとかで分散処理するともう少し大きなモデルまで学習できるかもしれませんが、そこは試していません。

この時期（12月）は卒論修論追い込みでもあるのでジョブ貯まりまくりかなと思ってたけれどもたまに覗く限りではスカスカ。たまに 1 job 動いてるのを見かけるぐらい。研究室の環境で十分ということかもしれないし、Google Colabの無料分で十分とか、ほんのり課金で事足りてるかもしれないし、むしろGPU必要というよりも Open AI API 利用するところに注力しているのかもしれませんが、数年前に比べると選択肢が増えてるのは良いことだ。

ということを良いことにあれこれお試し実験しまくっています。今月だけで合計200時間以上使ってるんじゃなかろうか。ストレージも余計に食いまくってるので後で整理しないと。。（さっき数百GBぐらいは削除しました）