数据在人工智能系统中究竟扮演什么角色？数据科学、分析技术和工程技术又是如何协同工作的？
这是本课的核心问题。在许多团队中，这些术语听起来很接近。但在实践中，它们承担着不同的工作。清晰地界定这些工作有助于企业避免混淆、薄弱的数据交接以及糟糕的模型结果。
三种数据角色，三种不同的工作
数据科学侧重于使用高级方法来发现模式并进行预测。它最接近机器学习。数据科学家询问接下来可能会发生什么，以及业务如何利用这些见解。
数据分析的工作范围较窄。它研究过去的数据以解释发生了什么以及为什么发生。它专为报告、趋势审查以及需要历史给出明确答案的业务问题而设计。
数据工程支持以上两者。它构建用于收集、存储、移动和准备数据的系统。如果没有这项工作，分析师和数据科学家往往花费大量时间修复损坏的数据，而不是利用它。
一个简单的方法来记住这种分工：数据科学展望未来，数据分析回顾过去，数据工程保持管道畅通。
每个角色所需的能力
技能组合不同是有原因的。数据科学通常使用 Python、统计学、机器学习、可视化和商业判断。它需要足够的技术深度来构建和测试模型，同时也需要足够的商业洞察力来判断哪些问题至关重要。
数据分析依赖于 SQL、报告工具和清晰的沟通能力。其工作成果必须易于解释。如果领导者无法快速阅读报告并采取行动，那么报告的价值就微乎其微。
数据工程则侧重于数据库、软件工程、云系统和 ETL 工作。ETL 代表提取（Extract）、转换（Transform）和加载（Load）。这就是将数据从原始形态转换为可用形态的工作。
这种划分之所以重要，是因为每个角色回答不同类型的问题。数据科学询问将会发生什么以及如何利用它。分析询问发生了什么以及为什么发生。工程询问如何使数据可靠且可用。
为什么数据质量决定结果
人工智能系统依赖于它们学习的数据。如果数据质量差，模型往往会学到错误的东西。这条规则很简单，并且在实际工作中依然成立。
在许多情况下，质量比原始数量更重要。较小但干净的数据集可能比大型杂乱的数据集更有用。干净的数据更容易信任，更容易测试，也更容易在模型行为异常时进行解释。
质量还意味着数据必须适合任务。缺失值、噪声字段、错误的标签和陈旧的记录都会削弱结果。偏见也可能扭曲训练集，使系统偏离正确的模式。
因此，人工智能工作通常从数据管道开始，而不是从模型开始。团队检查源数据，检查数据形状，移除错误，并决定保留哪些数据。这是基础工作，但正是这项工作保护了系统的其余部分。
来自运营的一个简单示例
考虑一个希望预测故障扩散的服务团队。该团队拥有来自其系统的日志、指标和追踪数据。
日志提供事件的文本文档。指标提供 CPU 使用率、内存使用率和延迟等数值。追踪显示请求在各个服务中的路径，一步步展示。
数据工程师确保这些流被收集并以可用的方式存储。数据分析师可能会审查过去的事故并总结常见的迹象。数据科学家可能会训练一个模型，寻找早期预警模式，并在故障扩大之前标记风险。
如果日志不完整，指标延迟，或者追踪数据不一致，模型将会遇到困难。它可能会错过真实的信号或凭空捏造一个。这就是为什么运营中的人工智能首先依赖于结构化、干净且相关的数据。
这个例子很小，但这种模式很常见。在企业环境中使用的人工智能系统通常在输入已经为人类团队整理好时表现最佳。然后机器在此基础上构建一个已经稳固的根基。
各部分如何协同工作
实际价值来自于这三个角色之间的交接。数据工程构建基础。数据分析讲述过去的故事。数据科学使用准备好的数据来创建预测或决策。
这并不意味着每家公司都需要三个大型团队。较小的团队经常合并这些职责。即便如此，职责仍然存在，并且系统仍然需要在思维上将它们区分开来。
当这些工作界限模糊时，工作效率会降低。数据科学家可能花费太多时间清理文件。分析师可能被要求预测而不是解释。工程师可能被要求在缺乏明确问题陈述的情况下猜测业务含义。
当角色清晰时，工作更易于管理。数据流动更加顺畅。问题通过正确的方法得到解答。人工智能项目也更有可能从有用的基础开始。
对于 EuroOp LLC 来说，这是我们在实践中看到的最强的应用人工智能模式之一。模型很少是首要问题。首要问题通常是围绕它的周围的数据路径。
一个理解这一点的团队可以更仔细地解读人工智能系统。它能明白日志、指标和追踪为何重要。它能区分报告、模型和管道。正是在这一点上，人工智能看起来不再像魔法，而更像是一门工程学。
EuroOp Insights 遵循同样的实用模式，包含一个应用研发理念和一个源自 EuroOp LLC 产品背后管道的清晰结论。