【聽後感】02/13 聊聊如何成為世界級產品設計師 — 從矽谷/紐約設計與人工智慧產品談起 clubhouse
在大年初二晚上聽了一個非常inspiring的panel discussion，在clubhouse上面由著名的Han-Shen（@hanshenchen）大大招開，並且邀請了Albert（@uxalbert）、Nelson（@nelsontseng）、Chiawei（@cdubliu）三位大神speaker來進行討論，由Sofi（@sotruesosofi）跟Claudia（@claudialin1220）擔任moderator。推薦大家follow他們能夠跟上之後的活動。
這裡因為我精神比較差加上我不是記逐字稿，所以我接下來主要是把我聽到幾個比較有趣的點，依照我印象深刻的程度依序拉出來討論，內容是否完全精準我也沒有把握，歡迎大家來討論。
AI跟UX的關係
AI就像是馬力，而Design Thinking就像是方向盤。
這是我最有印象的一句話，在過去AI的研究領域裡面大家總是在想的「使用AI解決某個問題」，但是其實很少人在frame新的問題，大部分都是把舊有的問題拿來突破，如果突破不了就收集一份新的data，只有極少數在frame新的問題，但是即便是frame新的問題，也很少人是從這個問題的「價值」出發，而大部分只是「這看起來很有趣」，這也是一個ML research跟業界脫節的情況。
所以在AI應用的時代，手上拿著這種強大的馬力是過去大家重點關注的部分，但是現階段更重要的就是你要怎麼轉你的方向盤，設計出好的產品。
AI只是一個工具，最終要解決使用者的甚麼問題？設計師要足夠了解工具以及使用者的問題，才能結合出一個好的Product。
所以討論到現代AI跟UX結合的部分，designer的角度就是要同時了解AI這個工具的侷限、能力，並且也要了解使用者，進而設計出好的product。
AI最終都是要模仿人，從低階到高階的AI都在模擬人的某種行為，越做越高階，就會開始思考甚麼是人，甚麼是人的行為，而對人的行為的理解就是designer的強項，而designer具備的比較anthropology的技能是能給AI帶來人性的重點
這裡是另一個我非常喜歡的點，這裡把UX designer的角色從比較Utilitarian的角度剝離出來，認為UX designer的價值除了能夠設計出更符合user痛點的產品以外，對「人」本身的深度理解、或是說具備深度理解的能力，這件事本身就有價值。
而AI一直在做的就是模擬人，過去我們主要都是focus在「弱AI」，也就是專門解決單一問題的AI，但是隨著我們定義的問題越來越難，AI智能跟人的智能界線就會越來越模糊，而逐漸變成「強AI」，而UX designer對人的理解，說不定就能夠幫我們進一步了解AI的能力。
當然這裡就有另一個問題「強AI」的價值在哪？甚至是更深刻的，強AI的「存在價值」是甚麼
這邊可能就是額外的哲學議題了，暫時不討論。
目前的互動方式比較像是跟5 6歲的孩子做溝通，所以這樣子更需要一些HCI的角度近來。
這邊我的理解是因為AI的能力還有限，所以5 6歲的小孩而已，如果拋棄這個人類年齡的譬喻，大家其實都能承認目前AI系統的侷限性很大，簡單的圖片分類都有可能把貓判斷成狗，翻譯系統也有可能組成完全不同意思的翻譯。
如何讓人跟一個有缺陷、會犯錯的系統相處，就是HCI或是更針對一點：Human AI Interaction要討論的事情，而這也是designer要介入的地方。
一個產品的四個步驟：input → model → output → action
最後的action要做甚麼，非常重要，透過思考我們想要做甚麼就可以更明確我們的AI要怎麼設計
這邊提出了一個思考框架，不要停留在model要output甚麼，而包含著我們系統對這個output會採取甚麼進一步的action。
這個時代的designer有機會發現非常多新的design方法，非常興奮
AI的能力level
這邊因為我對相關理論忘得差不多了加上剛好那時候沒有聽很清楚，但是我相信是在指Don Norman 3 levels of Design Appeals
這邊主要是從人的3 level來討論AI的3 level，裡面講者提到了從基礎的反應到後面像是RL那種要做series of actions based on the outside world。
這邊做為一個ML engineer我也想定義一下以ML的不同能力level。（以下是我自己現在快速做的分類，歡迎大家來討論更精準的分類XD）
Level 1
單純的input-output對應系統，也就是說系統給一個input，我們的AI model給出單一的output解答。
而Level 1的model主要就是由「設計師、工程師收集特定的資料跟architecture訓練而成」
也就是說Level 1模型大部分的事情其實是被人類所定義，小至圖片辨識系統大至翻譯系統其實都是這個類別。
Level 2
就是RL（增強學習、強化學習 reinforcement learning）系統，也就是說不再是1對1的對應，而是基於世界的改變，AI會做出一連串的決策，來讓自己的某種目標達成。
所以在RL系統裡面，AI是目標導向的，AI並不是制式化的學習我們餵給他的東西，而是會自己思考、判斷怎樣的行為能夠讓自己的目標達成。
而在這種系統中人類主要就是設計一個好的目標，因為常常AI model能夠找到某種「作弊方式」，讓自己達成人類設定的目標，卻做的完全不是我們想要他們做的事情。
Level 3
能夠自行了解目標是甚麼的系統，這裡我覺得主要有兩個支線，第一個是lifelong learning ， lifelong learning的目標是一個model能夠同時做到多件事情，就包含圖像識別、翻譯之類的（當然目前還做不到），但是要達成一個model能夠學習多個任務，這個model就要自己了解到每個任務的要求、目標是甚麼，依此做學習，所以lifelong learning是少數真的以AGI為目標的研究方向。而第二個是做bilevel Learning，同時learn reward function跟Agent behavior，這塊比較複雜這裡不贅述。
以目前的AI的能力做區分我認為可以這樣分成3個階段，其中Level 3還很不成熟，Level 1是目前普及到業界主要的。
其中其實可能還有一些介於中間的，像是Active Learning，我們的Model不再是被動接收人給他的資訊，它會自動告訴我們哪些資料對他比較關鍵，依此來加速我們label的效率跟它自己訓練的速度，這可能就是Level 1.5，或是unsupervised learning，能夠不用人們給label資訊。
Automation vs Augmentation
這大概是整個Human AI Interaction裡面最常被討論的事情了，也是在訪談中一直被不斷討論的觀點，我相信大家可能對這個都有點概念。
這邊比較可惜是我沒有想起任何一句可以直接引用並且跟這個直接相關的，所以我要引用一個小段落。
最初電商是用rule based search engine，要用大量人力去做數據分析跟產品調教，而這樣的確能夠做出很客製化的search engine，但是就是非常耗時間。第二階段是AI based search engine，用數據科學跟ML的方法來分析用戶行為，並且讓AI model自行學習，再上線，我們的人力成本下來了，但是第二階段是Black box。而在這個階段就是一個midlevel的AI產品
在midlevel到sigularity（奇點）中間的就是augmentation
簡單來講就是在完美的自動化跟智障的機器之間，所有半自動化、或是需要人機合作的都可以說是augmentation。
原本的工作人員 + 學習一部份的data science的技巧，學會看懂AI的output，進而能達到Human Machine Collaboration
這邊與automation跟augmentation相關的還有幾個很有名的幾個論點，以下應該是最經典的兩篇文獻。
- Ben Schneiderman and Pattie Maes. Direct Manipulation vs. Interface Agents. interactions 1997.
- Eric Horvitz. Principles of Mixed-Initiative Interaction. CHI 1999 (in Pittsburgh 😍)
而我自己對automation vs augmentation的一個核心概念就是，很多產品是有所謂「可行的半成品」的。
像是文字編輯系統，並非只有到grammarly那樣能夠幫你把文法都挑到好並且還推薦用詞才能用，在中間我們有microsoft word這種，智能程度不高，但是能夠做得事情比原本多很多，讓我們排版方便很多，而排版這種事情本身需要的智能程度也不高，這就是一個好的產品，不用一瞬間就定位到完全的自動化，而人類需不需要完全的自動化也是一個問題。
這邊除了真正的automation難以達成以外，我個人還有一個理解。
ML隨著performance要求越來越高，所要投入的成本、資源是指數上升的
也就是說不只完全的自動化達不到，那些需要高度正確率的事情也大多都達不到，所以定位出那些「智能程度不高，並且有容錯率的事情就是一個重要的產品設計的思考點」
重新思考design是甚麼
舉例：日本把價格貼紙貼在水果上面，隨著時間水果會變色，而價格就會變，這不是科技，但是這就是automation
這邊講者更重新破除了我們對automation的定義，這我覺得很有趣，但是還沒有很確定具體要怎麼用這個觀點。
ML的UI到底是甚麼？
我們目前都被現有的UI工具有點綁住，尤其像是Figma這種UI這麼方便，導致大家都用現在的工具在想事情。重新思考一個AI driven的UI或是semantic的UI很重要
這是中間只有少少幾句話提到，但是我覺得超級超級精彩的一個論述。
大家現在都在想怎麼把ML使用進一個現有的系統裡面，或是說大家對現存ML的想像都是基於目前我們常見科技物的原型。
這其實就是在用現在的思維想像未來的世界。
但是用這樣的思維就其實都在一個框架中打轉。這讓我想到創新理論裡面會提到的
你不管把多大數量的驛路馬車或郵車連續相加，也決不能得到一條鐵路
— 熊彼得
現在也很少研究、公司在討論這塊，說不定speculative design或是design fiction在這裡能夠派上一些用場。
Mental Model / AI Model Co-learning
我們會改變的不是只有user本身，ML的系統也會不斷進化，而mental model跟ML的model怎麼做co-learning
這也是真的很驚艷我的一句話，過去的Design Thinking都把焦點放在使用者身上，因為user是整個流程裡面最未知的一部份，但是現在ML的技術造成了我們的model也會演進，隨著model的演進，人們的使用方式也會隨之調整，也就是說現在designer要想的不只是一開始的產品長怎樣，還包含這個產品後續會「演進」怎樣。
以翻譯系統而言，過去的翻譯系統因為精準度不高，所以大家普遍都是丟單詞進去，來進行翻譯，但是隨著大家丟的單詞、片語、短句子越來越多，以及網路上的資料越來越多，翻譯系統的能力越來越強，而人們也隨之敢丟入更長的句子甚至文章到整個翻譯系統裡面。
這可能就是一個co-learning的過程。
設計師要能了解產品週期，了解我們到底丟了甚麼data進去，更關注任何的使用者行為，變成data，再訓練出來的data會是怎樣
有沒有辦法新增新的data input，再一次的更新這個模型。
水的流入口跟流出口是designer能夠認真關注的部分
ML Product Manage
AI開發跟MVP，做一個AI產品成本一定很高，那要怎麼做MVP？
甚麼是AI的prototyping？ Team要先弄清楚一個不存在的feature 最終是甚麼東西，或是已知的feature怎麼用AI improve
這邊其實指出了AI進行prototyping的難點，包含在沒有data前，很難預估AI最終的能力，更不用講如果今天要做的feature是一個過去不存在的東西，那這個AI function最後會做到甚麼事情。
講者給的解答還是回到前面講的input → model → output → action，要想清楚最終的action，其實我個人認為就是定義價值主張，AI只是一個工具，價值主張搞清楚，了解我們想要的最終成品是甚麼，再去optimize我們的AI產品。
不過這邊有一個我個人有一個小疑問，就是這種觀點還是沒有辦法解決掉「如何判斷一個project是否可行」以及「user到底想不想要這個project」以及「market願意支付多少錢在這個產品上」這三個問題，也就是MVP最核心想要測試的3個問題。
而另外的講者也有提到可以使用現成的Amazon或是Google服務來快速搭建第一版的AI system。
product要細分成
1. 只有人可以做到
2. AI可以做到且需要深度學習
3. AI可以做到且並非需要深度學習的方法
其中第三點是最有趣的，其實就是在開發、設計AI產品前要先想non-DL的solution，因為只要一碰觸到要自己train model，所需要的data、computing resource對公司而言就是一筆不小的開銷，所以先用現成的工具、演算法、pretrained model來進行proof of concept就是滿關鍵的一點。
Product manager對AI的能力有足夠的理解，因為在訓練AI需要的顯卡資源、運算資源是多的，所以PM必須在設計初期就設定出好的目標
再次強調了product manager必須對工具有足夠的了解
中間還有一些小的觀點但是因為比較瑣碎所以就不整理出來，以及最後的QA的部分也是一樣。
聽的途中其實也有不少疑問，有可能是因為我的mindset跟designer還是有一段差距，所以無法清晰的了解，如果大家有任何想法歡迎找我討論。
最近針對ML production也寫了一些文章（之後會以相關技術變成一個系列），歡迎大家來看~~
如果喜歡這篇文章可以幫我多拍手幾次XD，或是對於哪個類型文章有興趣都可以在留言區跟我講~ 後續會以中難度的ML/DS/AI知識為主，以及AI/HCI研究相關知識。