鄭宇：大數據時代缺的不是數據而是開放的思維

發布時間：2017年04月21日 10:09來源：智能制造網編輯：一不做人氣：40544

　　大數據時代我們真的不再缺數據了

　　缺得是我們的思維不夠開放

　　▼

　　Q：一個好的數據科學家關鍵的品質是什么？

　　鄭宇：你會發現在大數據時代我們真的不再缺數據了，缺得是我們的思維不夠開放，思考問題A的時候不要一直看問題A的數據，其實會發現問題B和C的數據都可以拿來用，而且這個數據完全可以不是你這個領域的數據。只有你對這個問題理解深刻以后才能把別的數據背后的知識拿過來做融合。很多時候項目推動不了不是人數不夠，而是因為缺乏中間靈魂的頭腦，培養這樣的人其實是非常困難的。以我個人的經驗至少七到十年才能培養出這樣一個真正的數據科學家來，這樣一個人可以解決很多問題。所以我鼓勵大家，你至少讀一個五年PHD加兩年的實戰經驗，基本上可以來做這樣的事情。

　　Q：那么算法的理論知識和實際項目的實踐經驗哪個更重要？

　　鄭宇：兩個方面都很重要，但是后者的學習和獲取過程更困難。

　　數據挖掘的模型你可能拿本書學個兩三年基本能學會一些模型，但是很多項目的經驗，你的真的很少有機會接觸到這樣的項目。只有把系統部署到真實世界中用起來，拿到新的反饋，再改進模型，經過這幾次迭代過程你會學到很多東西，但是這個機會特別少，特別難得。而且你從后者怎么吸取和提煉這種經驗也很重要，如果沒有總結能力和提取能力的話，換個新問題你還是不會做。所以我覺得這兩者都重要，后者培養起來更加困難一點。

　　Q：您怎么看待數據驅動？數據驅動在一個企業可以輔助商業決策，請列舉在過去幾年利用數據解決研究問題/發現觀點的一個有趣的例子。

　　鄭宇：從商業選址到空氣質量預測，數據驅動的方法已經多次作出了有效的決策。比如，合理的為商業店面選址可以帶來更多的人氣，提升商業的收益并降低企業的投入。通過數據驅動的方法為充電樁選址，可以讓有限的資源為更多車服務，并且避免過度擁堵。另外，在住宅地產選址的過程中，我們發現除了學區房，影響小區價值的另一個重要因素是該小區通向近高速公路入口的路網距離(或者通行時間)。位置很近的兩個小區，其價值(根據同一市場環境下的漲幅比來確定)可以相差很遠。

　　關于數據模型資產的復用

　　有兩個東西可以轉移

　　▼

　　Q：北上廣這些城市的數據化基礎設施比較好，那么在這些地區做城市研究會相對可操作，但是，在其他的比較落后的地區如何開展相關城市計算研究呢？

　　鄭宇：我們在研究中，會遇到有兩個類似的模型應用場景的情況，但是我們不能直接把在A場景做的模型應用到B場景去，這時候，我建議基于遷移學習的方法來做不同場景間的知識的轉移。有兩個東西可以轉移：

　　，數據和數據之間的關系可以轉移：比如說出現擁堵的時候空氣質量會變壞，當濕度比較高的時候容易形成霧霾。這種數據和數據之間的關系在很多地方都是普遍存在的，可以在A 城市里面用豐富的數據訓練出一些字典，然后以此為基準復用到B、C、D城市去。

　　第二，利用隱含空間：數據本身可能不能轉移，但是把數據投影到隱含空間以后，不同城市的數據就可以共享。我舉個隱含空間的例子，比如北京市的交通流量和寧波市的交通流量肯定很不一樣，但是它們投影到隱含空間里面可能都是早高峰堵、晚高峰堵中間不堵，如果都能投影到類似的隱含空間以后，不同城市的數據就可以共享和利用。

　　Q：如何選擇模型特征？

　　鄭宇：在做模型特征選擇時，數據質量比特征重要，特征比模型重要。

　　，如果你根本都沒這個數據的話你可能費很大勁設計各種模型才能得到一點好的結果，如果你的數據質量很好，你有這個數據了，就很容易得到結果。

　　第二，業務理解深度和對數據的敏感度決定了你能找到的特征好壞。如果提了很好的特征，可能根據兩三個特征就能得到別人十幾個特征的不得結果。我們提取什么特征完全取決于我們對問題本身的理解，所以我著眼在與行業知識結合，數據挖掘其實是一個發現知識的過程，我們需要有從數據里面提煉知識解決問題的能力。

　　第三，數據越大、質量越好，特征的選擇的必要性越低。在傳統的數據挖掘里往往有很多參數但訓練樣本又很少，所以不得不進行特征優選，使得訓練樣本還是那么多，但是參數變少，這樣可以保證訓練效果跟以前不差甚至更好。而現在我們擁有海量數據了，哪怕多選了一些冗余的特征，也可以依靠后面模型的力量來通過權重參數的做約束，越來越多的機器學習算法本身就考慮了特征的冗余性問題，所以在你擁有足夠大的高質量數據之后，是沒必要花費太多的精力在特征剔除上。

　　有問題的時候不要

　　先去看別人怎么做的

　　重要的是你是否真的

　　對用數據解決問題感興趣

　　▼

　　Q：怎么決定研究方向？

　　鄭宇：我們基本上所有的工作都來源對生活的觀察。重要的一點是你是否真的對用數據解決問題感興趣，你真正能夠體會到這種樂趣的時候就進入狀態了。

　　通常我們在看到現實生活中真的有很難的題目后，會在設計完方法以后再看有沒有相關的工作做過了，這避免了我們的思路跟別人重復。再此我也建議大家，如果你有問題的時候不要先去看別人怎么做的，很多學生喜歡這么想，看到一個題目馬上就去搜別人怎么做的，然后馬上跟著別人思路走進去了，很難有創造性的思維。

　　Q：對于希望進入數據領域的工程師，分析師們，您希望他們加強哪方面的技能培養?

　　，加強數據科學的基本技能培養，包括數據管理、機器學習和可視化技術以及云計算平臺的使用。

　　第二，加強對要解決問題所在行業的了解，借助行業現有的知識來設計合理的數據模型，明確行業傳統方法為什么不行，并懂得跟行業專家有效溝通。

　　第三，培養溝通和表達能力。現在的數據科學家不再是關起門來在家里閉門造車的工匠或者學者，他需要把深奧的問題和理論用淺顯的語言講出來，讓政府以及傳統行業的客戶能夠明白。

　　后，培養自己的創作力。很多時候客戶是提不出需求的，作為一個數據科學家要有超前的想象力和犀利的創造力。這點難培養，跟一個人的成長經歷有關，甚至要從娃娃抓起。

　　我正在為MIT Press撰寫一本《城市計算》的英文專著，里面涉及了數據科學家需要掌握的各種技能，以及實戰案例。該書將作為美國該專業的本教材，預計年底出版，有興趣的朋友可以關注。”

　　(原標題：專訪微軟鄭宇：這個時代不缺數據，缺得是不夠開放的思維)

(來源：大數據文摘)

上一頁 [1] [2]

上一篇：羅旭：貴州站在大數據產業發展風口

下一篇：大手控制馬利：信息化管理以人為本實現智慧停車

版權與免責聲明

凡本網注明"來源：智能制造網"的所有作品，版權均屬于智能制造網，轉載請必須注明智能制造網，http://www.82348.cc。違反者本網將追究相關法律責任。
本網轉載并注明自其它來源的作品，目的在于傳遞更多信息，并不代表本網贊同其觀點或證實其內容的真實性，不承擔此類作品侵權行為的直接責任及連帶責任。其他媒體、網站或個人從本網轉載時，必須保留本網注明的作品來源，并自負版權等法律責任。
如涉及作品內容、版權等問題，請在作品發表之日起一周內與本網聯系，否則視為放棄相關權利。

熱點排行

今日推薦周排行月排行