紀錄一下最近半年對我幫助很大的跟LLM相關的學習資源~
課程:
(推薦)FSDL LLM bootcamp:目前網路上講解最全面,也最深入的課程之一,以打造一個LLM based的產品,從prompt到finetuning再到UX都有講解到,非常推薦簡單看一遍。
(推薦)Deeplearning.ai:Deeplearning.ai近幾個月推出很多跟LLM相關的短課程(1hr以內),包含跟prompt engineering、langchain相關的內容。
(推薦)databricks LLMs application throught production:從production角度分析一些LLM的技術。
Langchain tutorial by Greg Kamradt (Data Indy):基礎Langchain教學。
台大李宏毅老師YT課程錄影:課程內容包含一些跟LLM或是GPT相關的論文分享。
台大陳縕儂老師YT課程錄影:去年年底更新了跟訓練GPT有關的相關知識,包含基礎
(推薦、進階)EMNLP 2022 Tutorial — “Modular and Parameter-Efficient Fine-Tuning for NLP Models”:EMNLP的tutorial,很深入的LLM PEFT(Parameter efficient finetuning)技術講解,著重在compositionality,像是routing、MoE相關技巧,讀個幾篇PEFT論文之後就可以來看。
Blog:
(推薦)Prompt Engineering Guide:個人認為目前整理得最淺顯易懂,且有足夠深入的電子書,非常推薦入門來看,不過到soft prompt那邊就慢慢需要自己看論文來進行更深入理解,後面統整的論文也值得一篇一篇看過,我之後也會在我的medium上整理新的論文。
(推薦、進階)Lil’Log:openAI內部工程師寫的Blog,每一篇都值得反覆讀10次以上,可以當作目前主流LLM技術的大整合,如果是ML scientist必讀。
(推薦)openAI cookbook:openAI官方文件,主要包含prompt engineering跟基礎API使用技巧。特別推薦可以看examples這個資料夾。常常可以找到有趣的新東西
Cameron R. Wolfe Blogs:包含較多解釋底層LLM邏輯的文章。
Microsoft LMops:Microsoft整理的一些新論文,從PEFT(Parameter efficient finetuning)到硬體加速都有,不過都不全面。
其他還有很大量的論文跟個別的文章,我會不間斷更新這個list。