5 minutes
傳產、新創、博弈,再到外商,不同類型公司的資料分析
自學後半路出家,成為了商業分析師,從被數十家公司拒絕(面試血淚史QQ),到現在有幸能夠在某家外商銀行工作,一路走路相當不易,除了辛苦,也有了新的體會。「商業分析」聽起來很潮,門檻也不像軟體工程師這麼高,加上媒體的推波助瀾,讓數據分析成為報章雜誌上所崇拜的顯學,越來越多人申請 MSBA(包含我QQ)、學習 Python 謀求轉職等等,但商業分析真的適合自己嗎?你想像的分析真的是所謂的分析嗎?以下是我的真實經驗,不同的四家公司的資料分析工作。
缺乏資料整合的製造業
我曾經在電路板公司擔任市場分析師,需要分析公司產品的市場價格、成本合理性、預測客戶需求等等,雖然當初完全不會寫程式語言,但靠著強大的Excel,就能定期產出客戶需求整合的報表、定義指標追蹤產品成本、預測客戶需求。但這個過程並不順遂,仍有許多問題:
-
ERP系統過於老舊,諸多欄位已經沒有使用價值:過去公司可能只有台灣一個工廠,但隨著公司的成長,工廠越來越多,甚至前進中國,如過往外銷,但現在卻以外銷為主,海關商品編碼就成為一個重要欄位,如果類似情況沒有更新或重新規劃,就容易造成計算困難。
-
資料斷點嚴重,整合困難:過去資料沒有明確規範,個別部門生產的資料皆自主管理,但已經累積了40年,因此超級難以整合與利用,舉例而言,過往要分析產品成本,需要營業處的出貨資料(營收、真實出貨資料)、製造單位的生產資料(包含良率、生產量)、財務單位的成本計算,新進的人員還有到處申請權限,相當複雜、麻煩,只能 by project 製作,效率不高。
工人智慧擋著先的新創
離職後,我開啟了自學之路,也到了一家新創公司擔任營運分析實習生,同樣使用Excel處理每天需要的產出,甚至耗費更多時間,利用人工來彌補系統的不足。即便主管知道也瞭解資料的重要性,並且試著導入 Tableau 這類型的 BI Tool,但在資料的來源、pipeline的建置上更是無能為力,問題如下:
-
資源不足,包括人力、時間與金錢:在營運處的同仁幾乎都是商管學院畢業的,並沒有編寫程式的背景,因此讓大部分人能夠使用很簡單的工具,處理日常報表相當重要,於是公司導入了 Tableau,但衍生而來的問題就是串接資料來源,缺乏 IT的 協助與資源,還是難以讓報表自動化,每日仍需要耗費相當的人力與工時,實行所謂的工人智慧。
-
規模化後的工作模式改變:過去規模較小(每月售出產品給 100 個客人),建置系統需要花費大量的時間與金錢,相較而言讓同仁每日手工處理都比較快,但在規模放大後(每月售出產品給 100000 個客人)就相當不一樣的,但過往的工作模式已經定型,需要花費時間溝通、調整、訓練,甚至應該聘用與過去背景不同的員工來進行資料處理。
單兵作戰,博奕公司的 Data Team
Internship結束後,面試了數十家公司都被拒絕,但幸運的是,我還是找到工作,進入一間博奕公司,協助進行財務分析與資料處理,不幸的是,這裡連資料庫都沒有。台灣有相當多博奕公司,即便是中小規模的辦公室設立在台灣,仍舊會有非常多資料分析的需求,同時營運成本低、獲利高,因此相當願意投資在人才、設備上。但缺點仍舊明顯,尤其是公司內部僅有我一人,因此包含資料庫都是我和另外兩位IT共同建置和維護的。
-
一切都要自己來:因為觀念和工作方法都尚未建立,因此有很大的發會空間,但缺點就是自己不行的話,也沒人可以幫你(甚至要花時間說服同事幫忙),舉例而言,我和 IT 在 GCP 建立 MSSQL DB 作為 Tableau 的資料來源,再來需要撰寫 Python 清理資料、匯入資料庫(當然 Schema 也要自己來!)再來是寫 batch 檔讓程式排程,自動執行,職位名稱是分析,但比較長的時間在進行資料工程。
-
溝通成本高,難以推動專案:有許多資料不是自動生成的,是由人員手動填寫,但要讓他們寫的報表結構化,需要改變很多作業流程,因為過去沒有資料分析的概念與需求,因此容易引起反彈。
-
資料品質不佳:過去的資料是為了製作財務報表,不需要逐筆分析,因此容易有疏漏(只要最後數字正確就好),再者,若要從頭收集資料,需要再耗費 3–4 個月收集與驗證,才能進行到分析的階段。
成熟運用資料的金融業
我目前在一家銀行擔任 Business Analyst,雖然才剛入職不久,目前了解的不多,但明顯感受到重視資料、使用資料的氛圍,也因為資料的風險,因此金融業通常投資相當大的成本,建置資料系統,保管資料,同時便於整合資料、圖像化、追蹤成果等等。
金融業對於資料的運用,如:輿情分析、呆帳預測、信用評估等等,但因爲是在台灣的分公司,因此更多資料科學上的應用、建模、預測仍在總部進行,希望未來能有機會加入!
一種分析,百種解讀
普遍上對「分析」的定義,大致上就是利用大數據,從中提煉出所謂的Insight,但實際上工作內容、職位會根據產業、企業有很大的差別。因此在面試的時候可以多多詢問,藉此獲得更多資訊來判斷職務,避免對工作內容上的認定過於理想化。
資料分析的工作鏈相當長,最末端接觸到的資料量最少、商業價值最高,通常是看著報表做決定的老闆,很難有機會直接對整理的 csv 檔案進行分析,經驗上,資料通常需要整理、釐清資料欄位的定義,我常常認為自己是修築下水道(Data pipeline)的工人,80% 以上的時間都在用於資料處理,所以要分析出有價值的黃金,需要先弄髒手來挖礦!