什麽是數據工(gōng)程師？

數據工(gōng)程師設計、構建和優化大(dà)規模數據收集、存儲、訪問和分(fēn)析系統。它們創建數據科學家、以數據爲中(zhōng)心的應用程序和其他數據消費(fèi)者使用的數據管道。

這個IT角色需要大(dà)量的技術技能，包括SQL數據庫設計和多種編程語言的深入知(zhī)識。數據工(gōng)程師還需要溝通技能，以便跨部門工(gōng)作，了解業務領導者希望從公司的大(dà)型數據集中(zhōng)獲得什麽。

數據工(gōng)程師通常負責構建訪問原始數據的算法，但要做到這一(yī)點，他們需要了解公司或客戶的目标，因爲使數據策略與業務目标相一(yī)緻非常重要，尤其是在涉及大(dà)型複雜(zá)數據集和數據庫時。

數據工(gōng)程師還必須知(zhī)道如何優化數據檢索，以及如何爲利益相關者開(kāi)發儀表闆、報告和其他可視化。根據組織的不同，數據工(gōng)程師也可能負責傳達數據趨勢。較大(dà)的組織通常有多個數據分(fēn)析師或科學家來幫助理解數據，而較小(xiǎo)的公司可能會依賴數據工(gōng)程師來擔任這兩個角色。

數據工(gōng)程師的角色

根據Dataquest，數據工(gōng)程師可以扮演三個主要角色。這些措施包括：

多面手：通常爲小(xiǎo)團隊或小(xiǎo)公司工(gōng)作的數據工(gōng)程師作爲公司中(zhōng)爲數不多的“以數據爲中(zhōng)心”的人之一(yī)，身兼數職。這些通才通常負責數據處理的每一(yī)步，從管理數據到分(fēn)析數據。Dataquest表示，對于任何希望從數據科學過渡到數據工(gōng)程的人來說，這都是一(yī)個很好的角色，因爲小(xiǎo)型企業通常不需要爲規模而設計。

以管道爲中(zhōng)心：通常在中(zhōng)型公司中(zhōng)，以管道爲核心的數據工(gōng)程師與數據科學家一(yī)起工(gōng)作，幫助利用他們收集的數據。Dataquest稱，以管道爲中(zhōng)心的數據工(gōng)程師需要“對分(fēn)布式系統和計算機科學的深入了解”。

以數據庫爲中(zhōng)心：在大(dà)型組織中(zhōng)，管理數據流是一(yī)項全職工(gōng)作，數據工(gōng)程師專注于分(fēn)析數據庫。以數據庫爲中(zhōng)心的數據工(gōng)程師跨多個數據庫使用數據倉庫，并負責開(kāi)發表模式。

數據工(gōng)程師職位描述

數據工(gōng)程師負責管理和組織數據，同時關注可能影響業務目标的趨勢或不一(yī)緻性。這是一(yī)個技術性很強的職位，需要編程、數學和計算機科學等領域的經驗和技能。但是，數據工(gōng)程師還需要軟技能來向組織中(zhōng)的其他人傳達數據趨勢，并幫助企業利用其收集的數據。數據工(gōng)程師最常見的職責包括：

開(kāi)發、構建、測試和維護體(tǐ)系結構

使體(tǐ)系結構與業務需求保持一(yī)緻

數據采集

開(kāi)發數據集流程

使用編程語言和工(gōng)具

确定提高數據可靠性、效率和質量的方法

對行業和商(shāng)業問題進行研究

使用大(dà)型數據集解決業務問題

部署複雜(zá)的分(fēn)析程序、機器學習和統計方法

爲預測性和規範性建模準備數據

使用數據查找隐藏模式

使用數據發現可以自動化的任務

基于分(fēn)析向利益相關者提供更新

數據工(gōng)程師vs.數據科學家

數據工(gōng)程師和數據科學家經常密切合作，但發揮着截然不同的作用。數據工(gōng)程師負責開(kāi)發、測試和維護數據管道和數據架構。數據科學家利用數據科學從大(dà)量結構化和非結構化數據中(zhōng)發現見解，以塑造或滿足特定的業務需求和目标。

數據工(gōng)程師vs.數據架構師

數據工(gōng)程師和數據架構師的角色密切相關，經常混淆。數據架構師是将業務需求轉化爲技術需求并定義數據标準和原則的高級幻想家。他們可視化并設計組織的企業數據管理框架。數據工(gōng)程師與數據架構師合作創建該願景，構建和維護數據架構商(shāng)的數據框架指定的數據系統。