感謝感謝XD

我自己是習慣先用小規模的lora來確定lora的上限，畢竟多個epoch跟增多data能帶來的效果都能夠提前預測出來，或是最少能建立一個基礎的認識。

不過更常還是有點依賴研究員的直覺，包含我們這個專案手中能收到的diverse instruction tuning data有多大，以及這個能力有多偏離原本的base model，都會影響我的決策XD，但是確實很多時候都沒有辦法100%驗證決策。

其實這也是我認為大模型開發上最難的一點，就是學習成本太高，難以快速累積出經驗法則，底層研究員都難以累積經驗了，更遑論上層人要累積出決策的經驗。