2021年DL/ML自學資源統整

倢愷 Oscar
7 min readFeb 25, 2021

--

在三年前為了帶清大的學弟妹學習Deep Learning,整理了一份DL/ML的學習課程表,隨著這幾年比較少在帶專題,我打算公開分享出來給大家,大部分都是免費內容。

主要內容是2018年初整理的,加上一些後期2019~2020發現的課程,普遍都還是很重要沒有過時,我會條列並且搭配一些我個人的評語。
每堂課幾乎都有隨著不同年在更新,可以自行搜尋更新的版本。

書籍類

DL 書籍

  • Deep learning book
    個人認為這本書現在有一點點過時,但是我17年暑假刷完這本書覺得受益良多,這在當時把DL比較主流的知識以及幾種看法都整理了出來,但是本身太厚重,不過還是算是非常值得看的書籍。

ML 書籍

這三本書我只有詳讀過PRML,算是補了機率的坑,裡面大部分的模型都會把背後的理論基礎講清楚,然後ESL我當初是簡單翻一遍覺得主要都是PRML的內容就沒有詳讀,MLAPP我是對照著跟PRML一起看,不過MLAPP的數學相對更硬一點。

RL 書籍

基本上RL必看就上面那本我認為也只需要看那本。

NLP 書籍

線上課程

DL 基礎課程

  • Deeplearning.aiDeep learning specialization
    這堂課超棒!!,我上週無聊花一天跳著把他看完,讓我有種相見恨晚的感覺,講比較少直覺的東西(cs231n就滿滿直覺),但是很多東西都用圖或是數學跟你清晰的分析出來,數學也不會特別難,推薦還沒有DL基礎的可以去看,不過如果有基礎(cs231n之類的)就可以不用浪費時間了。
  • CS230 Deep Learning by Andrew Ng
    18年release video到youtube : link,大概就是上面那堂課的稍為進階版,推薦看
  • 李宏毅ML
    台灣人必看課程!雖然叫做ML,不過基本上都在教DL,講得很high level(抽象),不過李老師很會舉例子&抓到學生容易疏忽的點
  • CMU DL course
  • Hinton 入門課
    極無聊
  • Oxford DL 課程
    Nando de Freitas本人講課我覺得還算不錯,不過就是口音有點不太熟悉。
  • Hugo大神的DL課
    偏簡單

RL 課程

  • David Silver Reinforcement Learning
    這堂課相當基礎,裡面數學都是很簡單的form,可以當作RL入門,但是缺點也是太簡單+太抽象。
  • Berkeley CS 294 Deep Reinforcement Learning
    這堂課有2個版本(以上),我聽過2017fall的跟Spring2017的一點點,fall是Sergey Levine大神自己教,Spring還有他的高徒Chelsea Finn會講,個人比較喜歡Sergey Levine的上課風格所以我比較喜歡fall,兩個版本其實難度差異不大,Spring前面會從LQR開始講會偏難,fall把這塊拿到學期中才講,個人認為比較適合入門。這堂課作業超有趣(?
  • Deep RL BootCamp
    2017 Berkeley那邊開的RL暑期工作坊,每堂課都用短短的時間詳解一個重要的概念,缺點是步調比較快不適合入門,但是我覺得slide都做得很好。
  • Stanford CS234 RL by Emma Blumskill
    winter 2019開始上傳影片到youtube : link

ML 課程

基本上ML我唯一推薦林軒田老師的課程!

  • 林軒田老師 ML基石+ML技法
    這套應該算是中難度入門,比較注重在Learning theory而不是各種花俏的model,也相當數學,但是個人認為田神的上課模式非常適合自學,所以滿推薦可聽聽這套的。
  • Andrew ng (Coursera)
    Andrew ng老師的這堂課在台灣非常多人聽過,其實偏簡單,但是裡面的一些用語或是敘述邏輯很常被引用,所以可以聽聽,這樣跟其他人溝通的時候更容易了解別人在說甚麼。
  • Oxford ML
  • CMU ML 10601 0701

CV 課程

  • cs231n
    神課不多說,滿推薦16年的版本,Andrej講課風趣又仔細。
    有十分詳細的note就算不上課也很值得看。
    後半基本上都在講CV的發展,很完整的入門CV的知識。
  • UMich Deep Learning for Computer Vision
    原本cs231n的助教Justin Johnso跑去UMich任教後開的課程,跟cs231n有滿多重複的內容,但是相對內容更新,是很好的一堂課,推薦可以聽這堂!
  • CAP6412 Advanced Computer Vision
    這堂課就像是一學期的演講,每堂課就講一篇論文or一個研究領域的幾篇論文

NLP 課程

  • cs224n
    基本上就是NLP屆的cs231n,一樣經典,一樣基礎,入門必看。
  • Oxford Deep NLP
    一樣是入門課,可以用來補充cs224n的內容。
  • CMU Neural Net for NLP
    上課普通,但是整理出超神的reading list,如果想做NLP超級推薦看他的各種reading material。
  • UCB Applied NLP
    沒有影片,但是有很完整的ipynb可以練習,建議如果想練傳統的NLP技術可以把所有的notebook都寫一寫。

Graph Network 課程

  • cs224W 沒有影片但是有slide,算是graph的入門課程

ML System (極推薦來看!!!!)

Advanced 課程(下面的課程跟上面都不是一個水平的,請小心食用)

上面這些課程我都看過一遍以上,很多課程的知識只要吃完,就已經比目前市面上所有繁體書籍的內容還要更完整了,所以很推薦從上述課程來學習。

不過因為是世界各大學校的課程,所以授課語言主要為英語,也比較偏學界思維,如果想要學習業界思維我之後再整理一篇,比較以各個公司的課程、blogger分享的資源。

如果喜歡這篇文章可以幫我多拍手幾次XD,或是對於哪個類型文章有興趣都可以在留言區跟我講~ 後續會以中難度的ML/DS/AI知識為主,以及AI/HCI研究相關知識。

--

--

倢愷 Oscar

我是倢愷,CTO at TeraThinker an AI Adaptive Learning System Company。AI/HCI研究者,超過100場的ML、DL演講、workshop經驗。主要學習如何將AI落地於業界。 有家教、演講合作,可以email跟我聯絡:axk51013@gmail.com