什麽是數據工(gōng)程師(shī)？

數據工(gōng)程師(shī)設計(jì)、構建和(hé)優化(huà)大規模數據收集、存儲、訪問(wèn)和(hé)分析系統。它們創建數據科(kē)學家(jiā)、以數據為(wèi)中心的(de)應用程序和(hé)其他(tā)數據消費(fèi)者使用的(de)數據管道(dào)。

這(zhè)個(gè)IT角色需要大量的(de)技(jì)術技(jì)能，包括SQL數據庫設計(jì)和(hé)多種編程語言的(de)深入知識。數據工(gōng)程師(shī)還(hái)需要溝通(tōng)技(jì)能，以便跨部門工(gōng)作(zuò)，了解業(yè)務領導者希望從(cóng)公司的(de)大型數據集中獲得什麽。

數據工(gōng)程師(shī)通(tōng)常負責構建訪問(wèn)原始數據的(de)算(suàn)法，但(dàn)要做到這(zhè)一點，他(tā)們需要了解公司或客戶的(de)目标，因為(wèi)使數據策略與業(yè)務目标相(xiàng)一緻非常重要，尤其是在涉及大型複雜(zá)數據集和(hé)數據庫時(shí)。

數據工(gōng)程師(shī)還(hái)必須知道(dào)如何優化(huà)數據檢索，以及如何為(wèi)利益相(xiàng)關者開(kāi)發儀表闆、報告和(hé)其他(tā)可視(shì)化(huà)。根據組織的(de)不同，數據工(gōng)程師(shī)也可能負責傳達數據趨勢。較大的(de)組織通(tōng)常有(yǒu)多個(gè)數據分析師(shī)或科(kē)學家(jiā)來(lái)幫助理(lǐ)解數據，而較小(xiǎo)的(de)公司可能會依賴數據工(gōng)程師(shī)來(lái)擔任這(zhè)兩個(gè)角色。

數據工(gōng)程師(shī)的(de)角色

根據Dataquest，數據工(gōng)程師(shī)可以扮演三個(gè)主要角色。這(zhè)些措施包括：

多面手：通(tōng)常為(wèi)小(xiǎo)團隊或小(xiǎo)公司工(gōng)作(zuò)的(de)數據工(gōng)程師(shī)作(zuò)為(wèi)公司中為(wèi)數不多的(de)“以數據為(wèi)中心”的(de)人(rén)之一，身(shēn)兼數職。這(zhè)些通(tōng)才通(tōng)常負責數據處理(lǐ)的(de)每一步，從(cóng)管理(lǐ)數據到分析數據。Dataquest表示，對(duì)于任何希望從(cóng)數據科(kē)學過渡到數據工(gōng)程的(de)人(rén)來(lái)說(shuō)，這(zhè)都(dōu)是一個(gè)很(hěn)好(hǎo)的(de)角色，因為(wèi)小(xiǎo)型企業(yè)通(tōng)常不需要為(wèi)規模而設計(jì)。

以管道(dào)為(wèi)中心：通(tōng)常在中型公司中，以管道(dào)為(wèi)核心的(de)數據工(gōng)程師(shī)與數據科(kē)學家(jiā)一起工(gōng)作(zuò)，幫助利用他(tā)們收集的(de)數據。Dataquest稱，以管道(dào)為(wèi)中心的(de)數據工(gōng)程師(shī)需要“對(duì)分布式系統和(hé)計(jì)算(suàn)機(jī)科(kē)學的(de)深入了解”。

以數據庫為(wèi)中心：在大型組織中，管理(lǐ)數據流是一項全職工(gōng)作(zuò)，數據工(gōng)程師(shī)專注于分析數據庫。以數據庫為(wèi)中心的(de)數據工(gōng)程師(shī)跨多個(gè)數據庫使用數據倉庫，并負責開(kāi)發表模式。

數據工(gōng)程師(shī)職位描述

數據工(gōng)程師(shī)負責管理(lǐ)和(hé)組織數據，同時(shí)關注可能影響業(yè)務目标的(de)趨勢或不一緻性。這(zhè)是一個(gè)技(jì)術性很(hěn)強的(de)職位，需要編程、數學和(hé)計(jì)算(suàn)機(jī)科(kē)學等領域的(de)經驗和(hé)技(jì)能。但(dàn)是，數據工(gōng)程師(shī)還(hái)需要軟技(jì)能來(lái)向組織中的(de)其他(tā)人(rén)傳達數據趨勢，并幫助企業(yè)利用其收集的(de)數據。數據工(gōng)程師(shī)最常見的(de)職責包括：

開(kāi)發、構建、測試和(hé)維護體(tǐ)系結構

使體(tǐ)系結構與業(yè)務需求保持一緻

數據采集

開(kāi)發數據集流程

使用編程語言和(hé)工(gōng)具

确定提高(gāo)數據可靠性、效率和(hé)質量的(de)方法

對(duì)行業(yè)和(hé)商業(yè)問(wèn)題進行研究

使用大型數據集解決業(yè)務問(wèn)題

部署複雜(zá)的(de)分析程序、機(jī)器(qì)學習(xí)和(hé)統計(jì)方法

為(wèi)預測性和(hé)規範性建模準備數據

使用數據查找隐藏模式

使用數據發現(xiàn)可以自(zì)動化(huà)的(de)任務

基于分析向利益相(xiàng)關者提供更新

數據工(gōng)程師(shī)vs.數據科(kē)學家(jiā)

數據工(gōng)程師(shī)和(hé)數據科(kē)學家(jiā)經常密切合作(zuò)，但(dàn)發揮着截然不同的(de)作(zuò)用。數據工(gōng)程師(shī)負責開(kāi)發、測試和(hé)維護數據管道(dào)和(hé)數據架構。數據科(kē)學家(jiā)利用數據科(kē)學從(cóng)大量結構化(huà)和(hé)非結構化(huà)數據中發現(xiàn)見解，以塑造或滿足特定的(de)業(yè)務需求和(hé)目标。

數據工(gōng)程師(shī)vs.數據架構師(shī)

數據工(gōng)程師(shī)和(hé)數據架構師(shī)的(de)角色密切相(xiàng)關，經常混淆。數據架構師(shī)是将業(yè)務需求轉化(huà)為(wèi)技(jì)術需求并定義數據标準和(hé)原則的(de)高(gāo)級幻想家(jiā)。他(tā)們可視(shì)化(huà)并設計(jì)組織的(de)企業(yè)數據管理(lǐ)框架。數據工(gōng)程師(shī)與數據架構師(shī)合作(zuò)創建該願景，構建和(hé)維護數據架構商的(de)數據框架指定的(de)數據系統。