人工智能系统是利用数据产生输出的软件系统。这些输出可能是预测、内容、建议或决策。系统接收输入，应用模型，并返回可能影响人员、流程或机器的结果。
这是直接的回答。有用的细节在于，人工智能系统比人工智能模型更大。
模型是负责在数据中发现模式的部分。人工智能系统还包括该模型周围的数据源、规则、软件工具、用户界面、安全控制和审查流程。在商业应用中，这些部分必须协同工作。
这一区别很重要。模型可以编写文本或对记录进行评分。更广泛的系统决定它可以查看哪些数据、其输出去向何处，以及是否有人检查结果。
模型周围的系统
一个简单的人工智能系统可能会接收客户消息。它可以对消息进行分类，查找相关记录，起草回复，并将草稿发送给员工。每一步都有其作用。
模型可以识别主题。数据服务可以提供过去的消息。规则引擎可以阻止私人数据。另一个系统可以记录结果。人员可以批准最终回复。
这就是为什么人工智能工作通常看起来像系统工程的原因。模型只是流程的一部分。
一个有用的人工智能系统有明确的任务。它也在业务流程中有明确的定位。例如，系统可以在员工审查之前对传入的文件进行分类。它可以帮助搜索内部信息。它可以标记异常活动以供进一步检查。
这些任务并不都需要相同类型的模型。有些使用机器学习来生成分数或预测。有些使用语言模型来创建或分类文本。有些将两者与固定的业务规则相结合。
选择取决于任务。语言模型可能有助于解释一条记录。它可能不适合严格的计算。当答案必须符合已知条件时，固定规则可能更好。
这是我们在思考应用人工智能时使用的第一个要点之一。问题不仅仅是“模型能做到这一点吗？”更好的问题是，“模型在整个流程中应该扮演什么角色？”
人工智能系统的运作方式
人工智能系统通常经历一组阶段。
首先，系统接收输入。这可能是文本、图像、声音文件、数据库记录或传感器读数。
接下来，模型处理该输入。在训练期间，模型从示例中学习模式。在使用期间，它将那些模式应用于新输入。
然后系统返回输出。它可能产生分数、标签、摘要、建议或生成的文本。
之后，输出进入业务流程。它可能触发消息、更新记录、支持决策或等待人工审查。
最后阶段经常被忽视。系统在启动后必须受到监控。数据可能会变化。用户行为可能会变化。模型可能在测试中表现良好，但在新环境中表现不佳。
经合组织（OECD）描述了一个包括设计、数据工作、模型构建、测试、部署、监控和退役的人工智能系统生命周期。这些步骤可以重复发生，并不总是按直线顺序进行。
这种观点很有用，因为它将操作视为系统的一部分。模型首次产生答案时并未完成。它的行为仍然需要审查。
在实际操作中，监控可以包括错误检查、访问日志、响应样本、成本跟踪和用户反馈。具体的检查取决于系统和错误可能造成的危害。
起草内部笔记的系统与帮助做出关于访问、安全或金钱的决策的系统具有不同的风险水平。设计应反映这种差异。
硬性限制
人工智能系统可以在不理解人类意义上任务的情况下产生有用的结果。它们从数据中检测模式，并使用这些模式创建输出。
这创造了一个基本限制。流畅的答案仍然可能是错误的。自信的分数仍然可能反映糟糕的数据。系统也可能重复其训练或操作数据中发现的偏见。
风险不仅限于虚假信息。其他问题包括数据泄露、弱访问控制、责任不清以及与实际工作的不匹配。一个系统可能在技术上令人印象深刻，但在作为业务流程时仍然失败。
美国国家标准与技术研究院（NIST）列出了与可信人工智能相关的几种质量。这些包括可靠性、安全性、安全性、问责制、透明度、隐私和公平性。没有任何单一质量能解决所有问题。必须在系统运行的环境中考虑每一种质量。
人工审查也有局限性。当系统看似可靠时，人员可能会批准较弱的输出。当审查者有足够的背景、时间和权力拒绝或纠正结果时，审查效果最佳。
对审查的需求也因任务而异。低风险草稿可能需要轻微检查。高影响力决策可能需要更强的控制、清晰的记录和停止系统的方法。
关于如何衡量许多人工智能系统质量，仍然存在不确定性。对于某项任务，准确性可能易于衡量。公平性、可解释性和现实世界的影响可能更难衡量。一个好的测试集可能无法代表每个用户或未来状况。
因此，人工智能系统应在其完整环境中进行评估。仅凭模型分数并不能显示系统是否安全、有用或适合工作。
实际模式很简单：定义任务，限制系统的角色，测试整个流程，并在使用中观察它。这并不能消除不确定性。它使不确定性更容易被看到和管理。
主要思想值得牢记。人工智能不是放置在业务内部的单一功能。它是一个由数据、模型、软件、规则、人员和控件组成的工作系统。
在EuroOp，这种系统视角塑造了我们的一般工程观点。当模型有明确的工作且周围流程有明确限制时，应用人工智能的效果最好。结果应根据整个流程的质量而非模型生产令人印象深刻的样本的能力来评估。
这也是人工智能系统的实际启示：在评估输出本身之前，先设计输出周围的路径。EuroOp Insights继续这一相同的焦点，分享来自EuroOp产品背后管道的一个应用研发模式和一个实际启示。