こんにちは！DataIntelligenceチームの垣内です。
今回はAzure OpenAI Service上で設定できるコンテンツフィルタについてご紹介します。 コンテンツフィルタは、今年の6月に開催されたMicrosoft Buildにて発表されたばかりの出来たてホヤホヤの機能になります。
本記事では、コンテンツフィルタの役割をはじめ、設定方法についてご紹介いたします。
コンテンツフィルタ
一般的なコンテンツフィルタは、インターネット上でやり取りされる情報を監視することで有害なコンテンツ（内容）が表示される事を防ぎます。
Azure OpenAI Serviceでは、AIに対して有害な情報が入力もしくはAIが有害情報を出力していないか監視します。
コンテンツフィルタの種類
元々OpenAI社のモデルにはデフォルトでコンテンツフィルタがかかっていますが、本機能はAzure OpenAI Service利用者側が追加で設定できるものとなっています。Azure OpenAI Serviceでは、「カテゴリ」ごとに「重大度レベル」を設定して有害判断を行っています。まずはこの用語について説明したいと思います。
カテゴリ
フィルタリングでは、憎悪的（ヘイト）、性的、暴力的、自傷行為的な表現がフィルタリングの対象となります。
具体的な定義は次の表のようになっています。
| カテゴリ | 説明 |
|---|---|
| 憎悪 | 人種、民族、国籍、性同一性と性表現、性的指向、宗教、容姿、体格など 特有の識別属性に対する軽蔑的・差別的な言葉による攻撃や表現 |
| 性的 | 生殖器、恋愛関係、性愛行動、情愛的な用語で描写した行為を表現する言葉 性的行為・性的暴力行為、売春、ポルノ、虐待に関連する言葉 |
| 暴力 | 人に何かに苦痛や損傷を与える行為を表現する言葉 殺害を意図する行為に関連する言葉や武器 |
| 自傷行為 | 故意に自分を傷つける自傷行為や自死を意図する行為に関連する言葉 |
重大度レベル
ただ単にコンテンツ内に使われている単語や表現を一概に規制してしまうと、医学的な内容や報道で使われる文章も対象になってしまいます。
そのため「重大レベル」では、各カテゴリごとにフィルタリング強度を設定することで、このような事態を防ぎます。
| 重大度レベル | 説明 |
|---|---|
| 安全 | カテゴリに該当していても一般的に報道・科学・医療などの専門的な文脈で使われほとんどの対象ユーザーにとって適切なコンテンツ |
| 低 | 偏見的・批判的・独断的な見解を表明するコンテンツ 不快な言葉の使用・定型化の描写が含まれているコンテンツ |
| 中 | 特有集団に対し不快・侮辱的・嘲笑・威圧的・屈辱的な言葉を使ったり、有害な指示・妄想・賛美・害悪の助長を求めるようなコンテンツ |
| 高 | 明示的に深刻で有害な指示・行為・損傷・虐待を表すコンテンツ 虐待などの是認・賛美・助長が含まれたコンテンツ |
デフォルトの設定
コンテンツフィルタの設定はAzure OpenAI Studioから設定できます。実際の設定画面は次のようになっています。 デフォルトでは入力・出力のいずれのコンテンツも重大度レベルは「低」が設定されているため、変更しない限り重大度レベルが「中・高」の内容はフィルタリングされます。
図のような画面でコンテンツごとに重要度レベルを変更できますが「中」や「高」を変更する場合は、こちらのフォームから申請を出して審査をパスする必要があります。 つまり重大度レベルは「低から安全と安全から低（フィルタリングを厳しくする）」は即時変更できますが、「低から中・高（フィルタリングを緩める）」への変更は申請が通ってからの変更となる点に注意が必要です。
コンテンツフィルタを設定してみる
では、実際にコンテンツフィルタをつけてみましょう！
手順１）コンテンツフィルタを作る
左のサイドバーから「Content filters(Preview)」をクリックし、画像に記載した手順で設定します。
手順２）適用する
さきほど作成したコンテンツフィルタは、Deploy済みモデルに対して紐づけをすることで適用されます。新たにモデルをDeployするもしくは既存のDeployに適用する2つの方法があります。
■ 新しくモデルをDeployする際に適用する方法
左のサイドバーから「モデル」を選択して画像に記載した手順で設定します。
■ すでにDeploy済みのモデルに適用する方法
左のサイドバーから「デプロイ」を選択して画像に記載した手順で設定します。
とても簡単に適用できますね！ 2023年8月現在ではPreview段階なので、今後変更される可能性もあるので是非こちらの公式ドキュメントもご覧ください！
Azure OpenAI Service のコンテンツのフィルター処理 - Azure OpenAI | Microsoft Learn
まとめ
今回はカスタムコンテンツフィルタの設定をしてみました。設定方法が簡単な上に、カテゴリごとにフィルタリングの厳しさを変えられるのが魅力的ですね！
コンテンツフィルタを中・高に変更するための申請は、悪用を防ぐためにかなり厳しい審査がなされているようです。今回の記事では各レベルで許容される内容など程度をレポートできませんでしたが、今後申請が通ればレポートしたいと思います！
