雲端數據工程：認識 Microsoft Fabric 與商業智慧的全新邊界

Microsoft Fabric 為AI時代的統一資料平台

而什麼樣的企業適合使用它呢？今天就讓我們來進一步探討Microsoft Fabric

最受歡迎的分析與BI平台

2017年推出的 Power BI 是現在世界上最受歡迎的分析與BI平台，從Gartner象限中可以很明顯看到，微軟在這領域上幾乎是「你想到的它做了，你沒想到的它也做了！」

台灣碩軟在Power BI推出時就開始在 Power BI 專業顧問領域中鑽研，而想與大家分享的是今年微軟引領BI領域再進階，BI商業智慧在企業分析資料的整個路徑中，BI這一塊已經成熟，但報表之後還有各式各樣的議題要去實現，包括優化基礎的企業分析架構，甚至是探索最熱門的機器學習與 AI。

如何繼續完成企業的進階分析，還是回歸到五個資料分析的核心板塊各環節包括：來源〉整合〉儲存〉處理〉分析。

企業設計自家的資料分析平台、資料中台、資料倉儲，只要牽涉到資料工程。都需考慮到這些模塊，譬如說企業有Data Warehouse，可以實現BI連上Data Warehouse作為統一且權威的資料來源，而我的Machine Learning則可以連到Data Warehouse或是 Data Lake 取用所需的訓練資料。

若是網路相關的電商行業或IoT相關行業，適合Data Lake這樣的架構，市場主流是使用基於知名開源項目的Spark Engine執分析，支援包括Data Engineering 與 Machine Learning，再連接到BI實現企業的報表視覺化。這兩種架構，像Data Lake不適合使用傳統 SQL或關聯式資料庫模式管理，而 Data Warehouse不太適合去處理檔案形式的資料，就會有各自的優劣，甚至是儲存的費用，這也是Microsoft Fabric功能的誕生。

Microsoft Fabric 為AI時代的統一資料平台

如果有在使用Power BI，將會發現它新增各式各樣的重大功能，以及今天的主角Microsoft Fabric，內含Power BI, Data Factory, Data Activator, Synapse Data Engineering, Synapse Data Science, Synapse Data Warehousing, Synapse Real Time Analytics, One Lake 等，這一整個 Microsoft Fabric 家族功能的目的，就是為了實現企業資料分析環節中的各模塊。

Data Factory：結合 Power Query 與 Azure Data Factory 擴縮以移動與轉換資料的資料整合。

Synapse資料工程：使用 Spark 平台大規模轉換資料的資料工程。

Synapse資料科學：使用 Azure Machine Learning 和 Spark 進行模型訓練以執行資料科學。

Synapse資料倉儲：具有業界一流 SQL 效能且可擴縮支援資料利用的資料倉儲。

Synapse即時分析：查詢的即時分析，以及即時分析大量資料。

Power BI：將資料轉化為決策的商業智慧。

Data Activator：無程式碼體驗，偵測資料自動採取動作，例如警示或啟動 Power Automate 。

One Lake：單一、統一、邏輯數據湖，運作如同 OneDrive

整個Microsoft Fabric的家族「只有你想不到的，沒有做不到的」，其都有對應的功能或者模組對應企業資料想像的場景，如果您需要Data Warehouse, Lakehouse或Real time的分析，它都有對應的架構可以去實現，若想要實現更有價值的分析，則可以利用機器學習。

Microsoft Fabric這個新的平台，目的是提供一個統一的資料平台，包括了所有可能需要的資料結構，可自行去組合搭配。譬如說團隊有負責做ETL資料整合的資料工程師，就可以使用Data Factory或Data Warehouse這些工具；如果是資料科學家需做預測、Machine Learning，可以用Data Science的工具模塊；如果是資料分析師則可以用Power BI做分析，如果要寫SQL，就在Data Warehouse裡面執行查；現在還強調資料公民，如您不是前三者角色，但每天都須看資料報表向同事、老闆報告，而您需要的就是Power BI或Microsoft 365。

依照不同角色需要不同工具，當所有東西都在同一個平台時所有的模組都透過這個平台實現單一計費。也包括所有資可以在上面進行治理與管控。

未來可以用AI 一句話做出報表來嗎?

是可以的，未來透過自然語言設計報表的功能將會在Copilot for Power BI提供，目前該功能已在Preview階段，如果您的公司有Power BI Premium Per Capacity(P1)或Fabric Capacity(F64)單位以上，在 2024 年Q1可陸續接收到體驗功能，實現一句話做報表。