原文：
www.kdnuggets.com/2021/06/analytics-engineering-everywhere.html
评论
作者：Jason Ganz，数据进步特别顾问。
1. 谷歌网络安全证书 - 快速进入网络安全职业轨道。
2. 谷歌数据分析专业证书 - 提升您的数据分析能力
3. 谷歌 IT 支持专业证书 - 支持您的组织进行 IT 管理
数据领域正在发生一场悄然的革命。多年来，我们不断被各种关于“21 世纪最性感的职业” — 数据科学家的文章轰炸。我们被教导，数据科学家是一个几乎具有超凡智慧的角色，使用准神秘的技艺来完成数据魔法。但如今，如果你与那些最密切关注数据领域的人交谈，你会发现另一个数据角色让他们更加兴奋。
需要明确的是，数据科学有一些非常实际且很酷的应用，可以让组织利用数据彻底改变其运作方式。但对于许多组织，尤其是那些没有数百万美元投资的小型组织，数据科学项目往往因为缺乏可靠的数据基础设施而失败。
当每个人都集中关注数据科学的崛起时，另一个学科在悄然形成，这一学科并不是通过《哈佛商业评论》上的华丽文章推动的，而是由那些在数据密集型角色中工作的人推动的。他们称之为分析工程师。
分析工程师是将分析师的数据敏锐性和领域知识与软件工程工具和最佳实践相结合的人。日常工作中，这意味着使用一套被称为“现代数据栈”的工具，特别是 dbt。这些工具使分析工程师能够集中数据，然后以一种极其便宜且简单的方式进行建模分析，相比于传统商业智能团队过去的 ETL 操作方式，这种方式要便捷得多。
尽管数据科学家被一些人视为神秘的存在，分析工程师的态度却有所不同。你会听到他们把自己称为“谦逊的数据管道工”或者“一个恼火的数据分析师”等。分析工程师的工作似乎容易理解，甚至有些平淡。他们整合数据源，应用逻辑，确保生成干净且建模良好的分析材料。
事实证明，分析工程学是该死的超级能力。任何在基本上任何组织中工作过的人都知道，为了标准化那些应该是简单易得的数据点而付出了巨大的努力，而更复杂的问题却往往被搁置多年。分析工程学使你能够拥有正常运作的数据系统。
一位优秀的分析工程师对组织有着极大的影响，每位分析工程师都能够帮助建立真正的数据驱动文化，这对于使用传统工具的团队来说将是具有挑战性的。虽然过去做任何简单分析都需要大量重复的工作，但分析工程师可以利用像 dbt 这样的工具构建复杂的数据模型，并在任何时间表上构建分析准备好的数据表。过去很难让任何人就指标的标准定义达成一致，而分析工程师可以将这些定义直接融入到他们的代码库中。虽然过去人们在处理不完整和杂乱的数据时很吃力，但分析工程师……仍然在与不完整和杂乱的数据作斗争。但至少我们可以在我们的分析系统上进行一系列测试，以便知道何时出现问题！
你可能会认为这种发展对数据领域的人来说会感到恐慌——如果一位分析工程师的影响力远大于数据分析师，我们的工作是否会受到威胁？一个组织是否可以用一位分析工程师替代五位数据分析师而获益？
但事实上，任何数据分析师都无法完成他们认为对组织有影响的所有分析——问题往往恰恰相反。大多数数据组织都在急切地寻求增加人手。
随着分析工程师增加组织从数据中获得的洞察量，这些组织实际上更可能想要招聘更多的数据人才（包括分析工程师和分析师）。在他精彩的文章工厂的重组中，Erik Bernhardsson 提出了这样一个观点：随着软件工程师的工具集变得越来越高效，对软件工程师的需求反而增长——因为现在有越来越多的使用案例表明，构建软件而不是手动处理更有意义。这个观点不仅适用于数据，我认为它实际上对数据更为准确。
虽然每个组织都需要软件，但并不是每个组织都需要软件工程师。但每个组织都需要从数据中学习，而由于数据需要被理解的方式在每个组织中都是独特的，他们都会需要分析工程师。人们常说软件正在吞噬世界——而分析工程将在世界中嵌入。随着每个数据岗位的增值，数据洞察和学习可以应用的新领域也显著增加。即使你不打算成为分析工程师，拥有良好建模和准确的数据也会使数据分析师和数据科学家更有效。这是一种全方位的胜利。
这并不一定意味着每个分析工程师的角色都会对世界产生积极影响。拥有更强大的数据操作能力，可以让你提出问题、寻求洞察和寻找新策略。它也可能为组织提供新的监控员工、进行监视或歧视的方式。只需看看当前技术和数据科学行业中的各种公众问题，就可以看到强大技术被滥用的方式。识别潜在的危险和新机会同样重要。
如果感觉我们正处于分析工程的真正拐点，那是因为我们确实处于这一点上。曾经只有少数冒险的数据团队涉足的领域，现在正迅速成为技术组织的行业标准——而且完全有理由相信，其他类型的组织也将很快跟进。影响实在是太大了。
我们即将看到分析工程师的就业机会数量和类型的大幅扩展。分析工程师的机会即将呈现出三大粗略领域，每个领域都有不同的挑战和机会。
-
越来越多的大型企业，无论是技术还是非技术组织，都将适应现代数据架构。随着数据分析工程被引入最复杂的传统数据系统中，我们将开始看到支持大规模数据分析工程的发展模式。如果你有兴趣真正弄清楚未来的大规模数据系统是什么样的，这将是一个理想的地方。
-
几乎每个新公司都会寻找一位数据分析工程师来领导他们的数据工作。这将使他们在任何不投资核心数据的竞争对手面前占据优势。在一家快速增长的公司中成为早期数据分析工程师是非常有趣和令人兴奋的，因为你能够从零开始建立数据组织，并亲眼看到数据分析工程如何改变组织的轨迹。
-
最后，许多科技业务外的组织将开始看到数据分析工程所能带来的影响。你可能没有相同的技术预算，你可能需要学会更多地为自己辩护，但这可能是数据分析工程对世界产生最大潜力的领域。城市政府将利用数据分析工程来监控项目，确保政府资源得到有效使用。学术机构将利用数据分析工程来创建数据集，其中许多是公开的，这将有助于科学和技术的发展。可能性空间是广阔的。
数据分析工程从根本上来说是一门关于理解我们周围世界的学科。它旨在让组织中的每个人都能更深入地了解他们对组织的影响以及他们的工作与组织的连接。目前，数据分析工程仍然是一个新兴领域——很快，它将无处不在。
原文。经许可转载。
相关：