AIシステムは、データを使用して出力を生成するソフトウェアシステムです。この出力には、予測、コンテンツ、推奨事項、または意思決定が含まれます。システムは入力を受け取り、モデルを適用し、人、プロセス、または機械に影響を与える結果を返します。
これが直接的な答えです。実用的な詳細は、AIシステムがAIモデルよりも大きいということです。
モデルは、データ内のパターンを見つける部分です。AIシステムには、そのモデルを取り巻くデータソース、ルール、ソフトウェアツール、ユーザーインターフェース、セキュリティ制御、およびレビュープロセスも含まれます。ビジネスでの使用では、これらの部分が連携して機能する必要があります。
この区別は重要です。モデルはテキストを作成したり、レコードにスコアを付けたりできます。より広いシステムは、そのモデルがどのデータを見ることができるか、出力がどこに行くか、そして人が結果をチェックするかどうかを決定します。
モデルを取り巻くシステム
単純なAIシステムは、顧客からのメッセージを受信することがあります。それはメッセージを分類し、関連するレコードを見つけ、返信の下書きを作成し、スタッフメンバーに下書きを送信することができます。各ステップには役割があります。
モデルはトピックを特定するかもしれません。データサービスは過去のメッセージを提供するかもしれません。ルールエンジン機はプライベートデータをブロックするかもしれません。別のシステムは結果を記録するかもしれません。人が最終的な返信を承認するかもしれません。
これが、AIの作業がしばしばシステムエンジニアリングのように見える理由です。モデルはフローの一部に過ぎません。
有用なAIシステムには明確なタスクがあります。また、ビジネスプロセス内での明確な場所もあります。例えば、システムはスタッフがそれらをレビューする前に受信した文書を仕分けることができます。内部情報の検索を支援することもできます。異常な活動を示唆して、さらなるチェックのためにフラグを立てることもできます。
これらのタスクすべてに同じタイプのモデルが必要というわけではありません。いくつかは、スコアや予測のために機械学習を使用します。いくつかは、テキストを作成または分類するために言語モデルを使用します。いくつかは、これら両方を固定されたビジネスルールと組み合わせています。
選択はタスクに依存します。言語モデルはレコードを説明するのに役立つかもしれませんが、厳格な計算には適さない場合があります。答えが既知の条件に従わなければならない場合は、固定ルールの方が良いかもしれません。
これは、適用AIについて考える際に使用する最初のポイントの一つです。質問は、「モデルがこれを実行できるか？」だけではありません。より良い質問は、「モデルは完全なプロセスの中でどのような役割を果たすべきか？」です。
AIシステムの動作
AIシステムは通常、一連の段階を経ます。
まず、システムが入力を受信します。これは、テキスト、画像、音声ファイル、データベースレコード、またはセンサー読み取り値である可能性があります。
次に、モデルが入力を処理します。トレーニング中は、モデルが例からパターンを学習します。使用中は、それらのパターンを新しい入力に適用します。
その後、システムは出力を返します。スコア、ラベル、要約、推奨事項、または生成されたテキストを生成する可能性があります。
その後、出力はビジネスプロセスに入ります。メッセージをトリガーしたり、レコードを更新したり、意思決定をサポートしたり、人間のレビューを待ったりする可能性があります。
最後の段階はしばしば見逃されます。システムはローンチ後に監視されなければなりません。データは変化する可能性があります。ユーザーの行動は変化する可能性があります。モデルはテストでは良好に機能しても、新しい環境では不良に機能することがあります。
OECDは、設計、データ作業、モデル構築、テスト、デプロイメント、モニタリング、および退役を含むAIシステムのライフサイクルを記述しています。これらのステップは繰り返すことができ、必ずしも直線的に進むわけではありません。
この視点は有用です。なぜなら、運用をシステムの一部として扱っているからです。モデルは最初に回答を生成した時点で完了するわけではありません。その動作はまだレビューが必要です。
実務的には、モニタリングにはエラーチェック、アクセスログ、レスポンスサンプル、コスト追跡、およびユーザーフィードバックが含まれる可能性があります。具体的なチェックは、システムと間違いによって引き起こされる可能性のある危害の種類によって異なります。
内部メモを下書きするシステムは、アクセス、安全、または金銭に関する意思決定を支援するシステムとは異なるリスクレベルを持っています。設計はその違いを反映すべきです。
硬直的な限界
AIシステムは、人間の意味でタスクを理解することなく、有用な結果を生成できます。それらはデータからパターンを検出し、それらのパターンを使用して出力を作成します。
これにより基本的な限界が生じます。流暢な回答でも誤っている可能性があります。自信のあるスコアでも、貧弱なデータを反映している可能性があります。システムは、トレーニングデータまたは運用データで見つかったバイアスを繰り返すこともあります。
リスクは誤情報だけに限定されません。他の問題には、データ漏洩、弱いアクセス制御、不明確な責任、および実際の業務との不適切な適合性が含まれます。システムは技術的に印象的であっても、ビジネスプロセスとしては失敗する可能性があります。
NISTは、信頼性の高いAIに関連するいくつかの品質をリストアップしています。これらには、信頼性、安全性、セキュリティ、説明責任、透明性、プライバシー、および公平性が含まれます。単一の品質がすべての問題を解決するわけではありません。それぞれを、システムが運用される設定で考慮する必要があります。
人間のレビューにも限界があります。システムが信頼できそうに見える場合、人は弱い出力を承認する可能性があります。レビューは、レビュアーが結果を却下または修正するための十分なコンテキスト、時間、権限を持っている場合に最も効果的です。
レビューの必要性もタスクによって変化します。低リスクの下書きには軽いチェックが必要かもしれません。高インパクトの意思決定には、より強力な制御、明確な記録、およびシステムを停止する方法が必要かもしれません。
多くのAIシステムの品質を測定する方法については依然として不確実性があります。正確性は、あるタスクでは測定しやすいかもしれません。公平性、説明可能性、および現実世界への影響は、より難しい場合があります。優れたテストセットが、すべてのユーザーや将来の状況を代表しないことがあります。
このため、AIシステムは完全な設定で評価されるべきです。モデルスコアだけでは、システムが安全か、有用か、または業務に適しているかを示すものではありません。
実用的なパターンは単純です：タスクを定義し、システムの役割を制限し、完全なフローをテストし、使用中に監視します。これは不確実性を除去するものではありません。不確実性を視覚化し、管理しやすくします。
主要なアイデアは覚えておく価値があります。AIはビジネス内に配置された単一の特徴ではありません。データ、モデル、ソフトウェア、ルール、人、および制御で作られた稼働中のシステムです。
EuroOpにおいて、このシステムビューは私たちの一般的なエンジニアリング視点形成します。適用AIは、モデルに明確な仕事があり、周囲のプロセスに明確な制限がある場合に最も効果的に機能します。結果は、モデルが印象的なサンプルを生成する能力ではなく、全フローの品質によって判断されるべきです。
これもまた、AIシステムからの実用的な教訓です：出力自体を判断する前に、出力を取り巻く経路を設計します。EuroOp Insightsはこの同じ焦点を引き継ぎ、EuroOp製品の背後にあるパイプラインからの一つの適用R&Dパターンと一つの実用的な教訓を共有しています。