システム開発

AI開発の脆弱性とは?混入経路・確認項目・検証の進め方

編集・執筆 熊木 CMO/執行役員

  • #AI 開発 脆弱性
  • #AI駆動開発 セキュリティ
  • #生成AI コード 品質
  • #依存ライブラリ 脆弱性
  • #プロンプトインジェクション
  • #委託先 確認
  • #セキュアコーディング
フリップボードに書かれた「AI開発の脆弱性とは?混入経路・確認項目・検証の進め方」の文字

AI開発の脆弱性とは、生成AIを使った開発や、AIを組み込んだシステムで生じるセキュリティ上の欠陥のことです。混入経路は「生成コード」「依存ライブラリ」「AI開発ツール自体」「AIを組み込んだ機能」の4つに分けると整理できます。対策の要点は、欠陥をどの工程で、誰が、どう見つけるかを先に決めておくことです。

AIは学習したコードの傾向を再現するため、安全でない書き方もそのまま出力することがあります。一方で、AIを使わない開発に脆弱性がないわけではありません。問われるのは、混入しうる欠陥を見つける仕組みが開発工程に組み込まれているかどうかです。

この記事では、AI駆動開発を検討している、あるいは外部に開発を委託しているBtoB企業の担当者に向けて、脆弱性の種類、発注側が確認すべきこと、検証の進め方を整理します。

AI開発の脆弱性とは

AI開発の脆弱性とは、AIが関わる開発工程や、AIを組み込んだ機能を通じて生まれる、攻撃や情報漏えいにつながる欠陥を指します。

脆弱性とは、第三者が悪用できるプログラムや設定の弱点のことです。入力値の検証漏れや権限確認の欠落のように、従来の開発と同じ種類の欠陥も含まれます。

AIが関わる場合に変わるのは、欠陥の入り口と広がり方です。AIを開発の道具として使う場合と、製品の機能として組み込む場合では、必要な対策が大きく異なります。自社の案件がどちらに当たるのか、あるいは両方なのかを最初に区別してください。

  • AIを道具として使う開発:コード生成、レビュー補助、テスト作成などにAIを使う。確認の対象は生成物と開発環境
  • AIを機能として組み込む開発:問い合わせ対応や社内文書検索などにAIを組み込む。確認の対象は機能の設計そのもの

AI開発で脆弱性が混入する4つの経路

AIが関わる開発では脆弱性の入り口が従来より増え、大きく4つの経路に分けて捉えられます。

経路1:生成されたコード自体

入力値の検証漏れ、権限確認の欠落、古い暗号方式の使用など、安全でない書き方がそのまま出力されます。動作はするため、テストが通ってしまうことがあり、気づきにくい経路です。

経路2:提案された依存ライブラリ

古いバージョンや、保守が止まったライブラリが提案されることがあります。実在しない名前が提案されることもあります。名前が妥当に見えるため、確認せずに導入されやすい点が問題です。

経路3:AI開発ツールの実行環境

コードを読み、コマンドを実行するAI開発ツールは、それ自体が攻撃の入り口になりえます。信頼できないリポジトリの設定ファイルや指示文を読み込み、意図しない処理を実行する危険があります。開発者の権限で動くため、認証情報が漏れたときの影響も大きくなります。

経路4:AIを組み込んだ機能そのもの

利用者の入力でAIの動作を乗っ取られたり、学習・参照データから機密情報が引き出されたりします。従来のテスト項目に存在しないため、見落とされやすい経路です。

経路1から経路3は「AIを開発の道具として使う」場合の論点です。経路4は「AIを製品の機能として組み込む」場合に固有の論点で、性質が大きく異なります。

AIが書いたコードで抜けやすい観点

AI生成コードでは、権限確認・入力値の検証・出力のエスケープが特に抜けやすい観点です。

生成AIは、学習したコードに多く現れる書き方を再現します。そのため、広く出回っている不適切な実装も再現されることがあります。実務で確認する機会が多いのは次のような点です。

  • 入力値の検証が不足している(文字数、型、想定外の値の扱い)
  • データベース操作で、値を文字列として直接つなげている
  • 画面に出力する値のエスケープが抜けている
  • 処理の実行前に、その利用者に権限があるかを確認していない
  • エラー時に、内部の構造が分かる情報をそのまま返している
  • 認証情報や接続先がコードに直接書かれている

同じ欠陥が複数箇所に広がりやすい

いずれも従来の開発でも起こる欠陥です。AI特有なのは、短時間で大量のコードが生まれるため、同じ欠陥が複数箇所に広がりやすいことです。1箇所の見落としが、横展開されたコピーの数だけ残ります。

見つけた欠陥は、その箇所だけ直して終わりにしないでください。同じ書き方が他にないかをコード全体で検索し、レビューの観点にも追加すると再発を抑えられます。

依存ライブラリは配布元と更新状況を確認する

AIは、存在しないライブラリ名を、もっともらしい形で提案することがあります。攻撃者がその名前を先回りして登録し、悪意あるコードを配布する手口が報告されています。提案されたライブラリは、名前が妥当に見えても次の点を確認してから導入します。

  • 公式の配布元に登録されているか
  • 更新が続いており、保守が止まっていないか
  • 既知の脆弱性が公表されていないか
  • 名前の綴りが、よく知られたライブラリと紛らわしくないか
AI開発の脆弱性とは?混入経路・確認項目・検証の進め方の図解 1
AI開発の脆弱性とは?混入経路・確認項目・検証の進め方の図解 1

AI開発ツール自体のリスクと利用ルール

AI開発ツールは開発者の権限でファイル操作やコマンド実行を行うため、ツールの使い方そのものにルールが必要です。

コーディングを支援するAIエージェントは、通常のAIチャットと違い、手元の環境で処理を実行できます。そのため、ツールの不具合や、読み込んだ内容に紛れ込んだ指示によって、意図しない操作が起きる可能性があります。AI開発ツールも一般のソフトウェアと同じく、脆弱性が見つかり修正される対象です。

開発会社や社内チームで、少なくとも次のルールを決めておくと安全性が上がります。

  • ツールを最新版に保つ:修正版の公開を確認し、更新の担当者を決める
  • 信頼できないリポジトリを開かない:外部から取得したコードは、隔離した環境で確認する
  • 最小権限で動かす:AIに許可する操作(ファイル書き込み、コマンド実行、外部通信)を必要な範囲に絞る
  • 実行前の確認を省略しない:承認画面や確認ダイアログを、手間を理由に自動承認にしない
  • 機密情報をプロジェクトに置かない:APIキーや接続情報は専用の管理手段で扱い、定期的に入れ替える
  • 本番環境から切り離す:本番データや本番環境の権限に、AIエージェントから届かないようにする

AIへ入力してよい情報の範囲も、同じルールの中で決めます。社内利用でのリスクの洗い出し方は生成AIの情報漏洩対策の進め方で詳しく整理しています。

AIを組み込んだ機能で特に注意する点

AIを製品の機能として組み込む場合は、コードの修正ではなく、AIに何を任せ何を任せないかという設計で防ぐ必要があります。

自社の製品やサービスにAIを組み込むと、従来のWebアプリケーションにはなかった論点が加わります。代表的な論点と対応の方向は次のとおりです。

利用者の入力による動作の変更

入力文に指示を紛れ込ませ、本来の制約を外させる手口で、プロンプトインジェクションと呼ばれます。AIの出力を信頼せず、実行する処理の側で権限と範囲を制限します。

参照データからの情報漏れ

社内文書を参照する仕組みで、権限のない情報まで回答に含まれることがあります。検索の段階で、利用者の権限に応じて参照対象を絞ります。

出力をそのまま処理に渡す設計

AIの出力をコードやコマンドとして実行すると、意図しない動作を招きます。出力は必ず検証を通し、自動実行の範囲を限定します。

外部サービスへの送信内容

入力された情報が、意図せず外部のAIサービスへ送られることがあります。送信前に除去する情報のルールを設け、学習利用の有無を契約で確認します。

攻撃手法の変化や守る側でのAI活用まで含めた全体像は、AIとサイバーセキュリティの全体像と対策の順序で解説しています。

発注側が開発会社に確認すべきチェックリスト

開発を外部に委託する場合、「AIを使っています」という説明だけでは品質を判断できないため、工程・検査・情報の扱いを具体的に確認します。

次の項目ごとに、望ましい回答と注意したい回答を示します。専門知識がなくても、回答の具体性で判断できます。

  • AIを使う工程と、人が担う工程:工程ごとに役割が分かれ、レビューの担当が決まっていれば望ましい。「全部AIでやります」「適宜確認します」は注意
  • 生成コードのレビュー方法:観点が定義され、セキュリティの確認項目が含まれていれば望ましい。「動作確認はします」のみは注意
  • 自動検査の仕組み:静的解析(プログラムを動かさずに問題のある書き方を検出する手法)や依存ライブラリの脆弱性検査を継続的に実施していれば望ましい。検査の仕組みに触れない回答は注意
  • 依存ライブラリの扱い:導入前に配布元と更新状況を確認する手順があれば望ましい。「提案されたものを使います」は注意
  • AI開発ツールの利用ルール:ツールの更新、権限の設定、実行前の確認の扱いが決まっていれば望ましい。個人任せでルールがない回答は注意
  • 入力した情報の扱い:どのツールへ何を入力するか、学習利用の有無を説明できれば望ましい。ツール名を答えられない、契約条件を把握していない回答は注意
  • 納品後の脆弱性対応:対応範囲と期間、費用の扱いが契約で決まっていれば望ましい。納品で終わり、以降は都度見積もりという回答は注意

委託先の選定段階から比較したい場合は、生成AI導入支援の選び方と比較項目も参考になります。

脆弱性を防ぐ検証の進め方

脆弱性の確認は、開発の最後にまとめて行うより、工程ごとに分けたほうが手戻りを抑えられます。

  1. 要件の段階:扱う情報の種類と、守るべき範囲を決める。AIを機能として組み込む場合は、任せる範囲と人が承認する箇所をここで決める。
  2. 開発環境の準備段階:AI開発ツールの利用ルール、許可する権限、入力してよい情報の範囲を決める。
  3. 実装の段階:静的解析と依存ライブラリの検査を、コードの変更ごとに自動で走らせる。
  4. レビューの段階:人が確認する観点を定義しておく。特に権限確認、入力値の検証、出力のエスケープは、AI生成コードで抜けやすい。
  5. 受け入れの段階:合意した基準を満たしているかを確認する。基準は検証を始める前に決めておく。
  6. 公開後:依存ライブラリやAI開発ツールの新たな脆弱性情報を継続して確認し、更新の体制を決めておく。

自動検査は有効ですが、万能ではありません。権限設計の誤りや業務ロジックの抜けは、機械的な検査では見つかりません。自動検査と人のレビューは併用するものです。

AIを組み込んだ機能を本番へ進める前の評価方法は、生成AI PoCの評価指標と本番化の判断基準で解説しています。

AI開発の脆弱性とは?混入経路・確認項目・検証の進め方の図解 2
AI開発の脆弱性とは?混入経路・確認項目・検証の進め方の図解 2

つまずきやすい点と対処

AI開発の脆弱性対策でつまずく原因は、技術の不足よりも、確認の責任範囲が曖昧なまま進めてしまうことにあります。

  • テストが通ったので安全だと判断する:動作確認は機能の確認で、安全性の確認ではない。セキュリティの観点を別に定義する
  • 自動検査の警告を放置する:警告が多すぎると誰も見なくなる。重要度で分け、対応の期限と担当を決める
  • 受け入れ基準を後から決める:基準が曖昧だと、指摘が仕様の解釈違いとして扱われる。検証開始前に合意しておく
  • AIを組み込んだ機能を従来の観点だけで検査する:入力による動作の変更や参照データの漏れは、従来のテスト項目にない。設計段階で検査項目に加える
  • AI開発ツールの設定を個人任せにする:権限や自動承認の設定が人によって異なると、管理できない。チームで標準の設定を決める
  • 納品後の更新を想定していない:依存ライブラリの脆弱性は公開後にも見つかる。更新の担当と費用の扱いを契約時に決める
  • 既存システムの中身が分からない:仕様書がないと確認範囲を決められない。まず現状の構成を把握するところから始める

仕様書のない既存システムの把握は、仕様書がないAIシステムの保守・引き継ぎの進め方で手順を紹介しています。

よくある質問

AIを使わなければ安全ですか?

いいえ。脆弱性は従来の開発でも発生します。AIの利用で変わるのは、生まれるコードの量と速度、そして依存ライブラリの選定経路で、確認の仕組みがあるかどうかが安全性を左右します。

自動検査ツールを入れれば十分ですか?

不十分です。静的解析は既知のパターンを検出しますが、権限設計の誤りや業務上の判断ミスは検出できません。人によるレビューの観点を別に定義してください。

AI開発ツールそのものに脆弱性はありますか?

あります。AI開発ツールも一般のソフトウェアと同じく、脆弱性が見つかり修正される対象です。最新版への更新、権限の制限、信頼できないリポジトリを開かないことが基本の対策です。

AIを組み込んだ機能では何から対策すればよいですか?

まず、AIに任せる範囲と、人が承認する箇所を決めます。そのうえで、AIの出力を信頼しない前提で、実行する処理の側に権限と範囲の制限を設けます。

社内に専門知識がない場合はどうすればよいですか?

まず、委託先に確認する項目を決めるところから始められます。本記事のチェックリストは専門知識がなくても使える形にしており、受け入れ時の検証を第三者に依頼する選択肢もあります。

まとめ

  • AI開発の脆弱性は「生成コード」「依存ライブラリ」「AI開発ツール自体」「AIを組み込んだ機能」の4つの経路に分けて捉える
  • AIを道具として使う場合と、製品の機能として組み込む場合では、必要な対策が異なる
  • AI生成コードでは、権限確認・入力値の検証・出力のエスケープが抜けやすい
  • 同じ欠陥が複数箇所へ広がりやすいため、1箇所の見落としの影響が大きい
  • AI開発ツールは、最新版への更新、最小権限、実行前の確認をルールとして決めておく
  • 委託先には、工程ごとの役割分担、レビュー方法、自動検査、情報の扱い、納品後の対応を確認する
  • 自動検査と人のレビューは併用する。どちらか一方では防げない

開発からマーケティングまでの支援内容はHVLのサービス一覧で紹介しています。

開発のご相談は無料相談から

ハイ・ヴァーチュ・ラボは、AI駆動開発・システムインテグレーション・マーケティングを一気通貫で提供するテクノロジーパートナーです。プロジェクトの立ち上げから収益化まで、すべての工程を網羅しています。

「AIを使った開発を検討しているが、品質の担保が不安」「既存システムの脆弱性を確認したい」という方は、まずはご相談ください。現在の状況と目的を伺いながら、確認すべき範囲と進め方を整理します。

コラム一覧へ戻る

CONTACT

AI駆動開発・システム開発・Webマーケティングのご相談を承ります

課題の整理からご一緒します。まずはお気軽にお問い合わせください。

無料相談はこちら