【開源年會】蔗渣價錢燒鵝質素 開源技術助處理大數據、直播影片

撰文:梁逸風
出版:更新:

一般人聽到開源軟件(Open Source Software),多會想起LibreOffice、GIMP等辦公室免費軟件。
事實上,近年灸手可熱的大數據、網頁開發、區塊鏈等均與開源技術息息相關,上周末(16及17日)多名本港及海外開發者於科學園分享使用開源技術經驗,以「蔗渣價錢」做出「燒鵝質素」,低成本助解決高技術問題。

一站式解決瀏覽器播放影片問題

近年上網睇片及直播漸成主流,網站技術亦需與時並進。軟件工程師古樂新示範使用HTTP Live Streaming(HLS)傳輸協議配合video.js技術於網站上播放直播。他解釋,早期的網頁以顯示文字為主,如要播放影片就先安裝Flash外掛程式,但Flash技術多次出現安全漏洞,蘋果公司更帶頭放棄採用,同時提出以HLS傳輸協定取代前者。

古樂新即場示範直播技術。(簡浩德攝)

不過,HLS於蘋果iOS平台以外裝置使用會出現限制,故需要以開源的video.js配合,用戶再不用安裝額外套件,就可直接於瀏覽器觀看影片或直播,畫質更會因應網速自動調節,減低「窒機」機會。同時video.js支援大部分主流瀏覽器,開發者只需以一套程式碼,就可於跨平台播放影片,省卻學習多種程式語言的麻煩。

「大運河」方便處理大數據

另外,應用大數據逐漸受市場重視,企業欲藉此了解客戶行為,提供更貼心服務。用戶在軟件上的每個動作,如按鍵及滑動等均會產生新數據,其數量、種類及複雜性亦遠超以往,考驗傳統數據庫的資料處理和儲存能力。現職數據工程經理、前中大計算機科學與工程學系高級講師黃子洋解釋使用Apache Kafka平台建立Data Pipeline,方便管理大數據,從中改善產品設計。

黃子洋指,Data Pipeline可避免大量數據同時傳至數據庫增負荷(林炳坤攝)

他將Data Pipeline比喻為一條大運河,指現時的數據庫無法即時容納巨量數據,故大量剛收集的數據會先於運河「流動」,避免同時傳至數據庫增負荷,待凌晨時軟件用量較低,實時處理數據的壓力較輕時,才將數據經各水管分流到不同伺服器或特定數據庫,方便分析員從數據中提取價值。工程師亦不用費神維護數據庫,令龐大複雜的系統變得井然有序。

各地開源社群分享開發經驗

古樂新認為,開源技術的源碼公開透明,開發者可按自身需要度身度造,為軟件加入新功能,再在網上分享作品,共襄善舉。黃子洋指出,開發者一旦發現源碼出現問題,可直接修改源碼提交審核,全程由下至上,大幅節省時間;相反收費軟件往往要待一、兩星期才可修正錯誤。此外,各地開發者亦建立開源社群,記錄程式碼修改過程及要點,互相交流經驗及切磋。

香港開源年會為本港規模最大的開源科技會議,剛於本月16及17日於沙田科學園舉行,邀請數十名本地及海外開發者分享最新開源發展,內容涵蓋程式開發、數據分析、區塊鏈技術等,共吸引近600人報名參加。