紀錄一下最近半年對我幫助很大的跟LLM相關的學習資源~
課程：
（推薦）FSDL LLM bootcamp：目前網路上講解最全面，也最深入的課程之一，以打造一個LLM based的產品，從prompt到finetuning再到UX都有講解到，非常推薦簡單看一遍。
（推薦）Deeplearning.ai：Deeplearning.ai近幾個月推出很多跟LLM相關的短課程（1hr以內），包含跟prompt engineering、langchain相關的內容。
（推薦）databricks LLMs application throught production：從production角度分析一些LLM的技術。
Langchain tutorial by Greg Kamradt (Data Indy)：基礎Langchain教學。
台大李宏毅老師YT課程錄影：課程內容包含一些跟LLM或是GPT相關的論文分享。
台大陳縕儂老師YT課程錄影：去年年底更新了跟訓練GPT有關的相關知識，包含基礎
（推薦、進階）EMNLP 2022 Tutorial — “Modular and Parameter-Efficient Fine-Tuning for NLP Models”：EMNLP的tutorial，很深入的LLM PEFT（Parameter efficient finetuning）技術講解，著重在compositionality，像是routing、MoE相關技巧，讀個幾篇PEFT論文之後就可以來看。
Blog：
（推薦）Prompt Engineering Guide：個人認為目前整理得最淺顯易懂，且有足夠深入的電子書，非常推薦入門來看，不過到soft prompt那邊就慢慢需要自己看論文來進行更深入理解，後面統整的論文也值得一篇一篇看過，我之後也會在我的medium上整理新的論文。
（推薦、進階）Lil’Log：openAI內部工程師寫的Blog，每一篇都值得反覆讀10次以上，可以當作目前主流LLM技術的大整合，如果是ML scientist必讀。
（推薦）openAI cookbook：openAI官方文件，主要包含prompt engineering跟基礎API使用技巧。特別推薦可以看examples這個資料夾。常常可以找到有趣的新東西
Cameron R. Wolfe Blogs：包含較多解釋底層LLM邏輯的文章。
Microsoft LMops：Microsoft整理的一些新論文，從PEFT（Parameter efficient finetuning）到硬體加速都有，不過都不全面。
其他還有很大量的論文跟個別的文章，我會不間斷更新這個list。
