作者 | 馬超
出品 | CSDN(ID:CSDNnews)
最近 IT 行業有三個事件特別值得觀察,首先是《北京市外來新生代農民工監測報告》,在這個報告中官方首次將從事軟件和信息技術服務行業的人員列入農民工范疇,這種說法雖然得到廣大程序員們的廣泛認同,不過為什么軟件開發與傳統的農業生產越來越像,也值得深思。
其二,OpenAI 發布了自動編碼系統 Codex,這是一款可以將英文需求描述直接轉換為代碼的神奇工具。雖然 Codex 首發版本的表現還不能完全盡如人意,但 AI 編碼技術的發展卻給開發者們敲響了警鐘,未來只要有創意和算力,也許真的就就萬事俱備了,程序員也許并不是一個必選項。
其三,國際 IT 咨詢機構 Forrest 發布了《云原生開發者洞察白皮書》,對于云原生時代對于開發者的機遇、挑戰、升級路徑等等問題進行了探討,對于《開發者白皮書》中的觀點筆者深表贊同,云原生到底會如何影響未來的開發模式,對于這個問題,每一個開發者應該都會有自己的思考。
筆者認為云原生時代,開發者要學著利用 Codex 這樣的新工具,在云原生的大農場上進行編程,而云原生則提供了一個真正能屏蔽底層的開發平臺。云原生時代的開發最重要的是「人」「云」合一,而「人」「云」合一的關鍵則在于全棧,只有真正做到全棧融合才能將各技術領域內坑洼不平的丘陵,變成真正肥力十足的平原,挖掘出工具的潛力,發揮云原生的價值。
云原生想建黃金農場不容易
無論是 K8s、容器還是最近火爆全網的 Serverless、Dubbo,云原生相較于傳統技術其最大的優勢在于能夠充分利用云原生平臺的組件及工具鏈,屏蔽底層技術,使開發者耕耘的土地更像是一片廣袤的農場,幫助開發者節省時間,但是想屏蔽底層光憑嘴說遠遠不夠,尤其是在大數據及 AI 領域更是如此。
根據 IDC 定義,大數據是指現有技術難以處理的數據。從歷史來看,在谷歌提出大數據三駕馬車的論文時,當時的關系型數據庫技術的確難以處理大規模的數據。傳統 SQL 在谷歌海量的查詢記錄面前,根本跑不出結果。也正是由于數據越來越大,人們對于數據庫的看法開始轉變,從一開始單純認為數據庫是加工車間,轉變為數據庫也需要是儲存倉庫,而數據已經是加工完成的成品,沒有被重塑修改回滾的需求。而隨著大數據應用的進一步拓展,業界發現價值密度更低的非結構化數據也有儲存及挖掘的必要。比如客服的對話可能是語音、文字甚至是圖像、視頻,這都不是傳統意義上數據庫、數倉可以處理的結構化數據,因此用于儲存非結構化的數據湖出現了。
在了解數據存儲模型的演進過程后,我們可以看出關系型數據庫、數據倉庫與數據湖的底層構建模型并不相同,大數據領域各個技術棧幾乎全部是由開源社區推動的,數據技術的快速發展卻也帶來了領域內部的無盡割裂。
數據是 AI 乃至整個 IT 行業的血液,是業務開發鏈條上的重要一環,但各環節的兼容性不佳也引發了很多衍生問題。這其中最嚴重的是數據處理的時效性問題,大數據工程師往往需要在 T+1 日以后才能給出報表,但是產品經理卻永遠需要實時的用戶畫像,對于時效性的要求成為了技術與業務之間永遠無法達成的協議。
當前,科技企業要處理的數據量還在迅速增長,從筆者了解到的情況,各大廠的數據量級正在以年化 80% 左右的速度增長,如果按照現在的迭代速度,大數據技術棧繼續分化,那么云廠商如果拿不出全棧大數據解決方案,開發者的云原生開發也就根本無從談起。因此只有提供包括數據采集、數據規范、數據開發、數據服務、數據治理、數據可視化在內的全棧式大數據工具,將數據集成開發平臺與應用云平臺與容器大數據平臺打包交付,才是有競爭力的云原生產品。
AI 落地,必走全棧之路
如果說大數據需要全棧解決方案是個錦上添花的選項,那么 AI 對全棧的需求則是必選項。
從目前 AI 的發展趨勢來看,最新的人工智能模型對于算力的要求往往都是非常高的,比如谷歌的 T5,其整個模型的參數數量達到了驚人的 110 億,甚至谷歌科學家直接在 T5 的論文指出:“越大的模型往往表現更好。這表現擴大規模可能仍然是實現更好性能的方式。“不過一般的創業公司如果沒有雄厚的資金實力是不可能搭建這種級別的 AI 訓練平臺。
像去年火爆一時的 GPT-3 的出現充分證明了大力就是能夠出奇跡,這個訓練集 45TB,參數規模 1750億,預訓練結果 700G 的 AI 模型一經問世就成為了大眾矚目的焦點。一時之間用 GPT-3 作詩、作曲乃至畫畫的應用層出不窮,不過 GPT-3 的訓練成本高達上千萬美元,這也進一步提升了 AI 領域的入門門檻,只有巨頭才能玩得起 AI。
不過另一個角度講這樣的趨勢也推進了 AI 全棧技術與云的結合,只有將云、人與智能終端結合到一起,才能降低門檻,促進AI行業創新發展。而這種結合實際與全場景全棧 AI 是同一概念,只有算力不行,只有框架不行,只擅長訓練集群也不行,只有把這些方面結合到一起,做到沒有短板才能做好 AI 云,才能讓 AI 充分發揮威力,體現價值。
云原生呼喚程序員的創造性
從 OpenAI 官方的說法來看,Codex 試圖理解需求描述中的邏輯,并盡可能生成最好的代碼。與其同門師兄 Copilot 一樣,Codex 也是基于 GPT-3 構建的。不過目前 GPT-3 的工作原理也就決定了 Codex、Copilot 等輔助工具本質上還是播種機和收割機,只能高效率的模仿,卻很難進行創造性的自主、獨立工作,也就是說目前 AI 在編程領域遠未達到 AlphaGo 時刻,因此在這個編程工具輔助能力極大發展,基礎底座被云原生打造成一片坦途的情況下,復制粘貼式的開發將逐漸失去價值,但對于程序員創造力與整合能力卻要求更高了。
在云原生時代,有兩種開發方向,一是云原生的底層基礎開發,這點在上文的大數據和 AI 部分已經詳細介紹過了,底層技術關鍵在于整合與打通,性能與資源的開銷是最需要考慮的方面。二是基于云原生的開發,這需要對于云原生各模塊的進行創造式的組合,從而形成新的生產力。由于輔助工具最擅長的就是模仿與簡單的修補,這方面AI很可能比人類程序員強很多,因此無論是哪種開發方向,有創造力的大神級程序員都會比以往更加緊俏。
人云合一,方顯原生本色
去年哈佛大學孵化的腦機接口創業企業 BrainCo 也發布了其最新產品 BrainOS,其主要的創新點在于腦機協同的操作系統;年初華為發布了 HarmonyOS 2.0 操作系統,主打是端端協作的分布式操作系統;Codex、Copilot 更是將程序員與 AI 工具結合的大幕正在開啟。
未來,人云協同將成為云原生領域的核心,而人云協同將推動各行各業的智能化升級。不同于數字化轉型,智能化是以人為中心,智能需要和人協同工作。因此,也許智能機器永遠都無法取代人,但人與云達到最完善、最完美的共融共創的云原生,終將改變每個領域、每個行業以及每個人的生活方式。
作者:馬超,CSDN博客專家,阿里云MVP、華為云MVP,華為2020年技術社區開發者之星。
CSDN瘋狂盲盒來啦 !!!iPhone 12、機械鍵盤、Switch等你來拿!好運錦鯉將會花落誰家?