おすすめの本はこちら！
参考URL
コンピュータービジョンワークフロード
コンピュータービジョンとは
コンピューターが画像や動画から情報を抽出するための技術のこと。その技術には、５種類の技術（タスク）がある。
- 画像分類
- オブジェクト検出
- 顔検出及び顔分析
- 光学式文字認識（OCR）
- 空間分析
ワークフロード
画像分類
画像全体を１つまたは複数のカテゴリに分類する。犬・猫・車など。また、複数のタグを生成できる。
背景などの配色情報や、不適切なコンテンツを検出して評価したりもする。
オブジェクト検出
画像の中に何があり、どこにあるかを検出する。犬はここ、猫はここまでわかる。種類だけでなく、位置もわかる。
顔検出及び顔分析
顔を見つけて分析。個人の識別。マスクやメガネの有無などの追加情報も取得。アプリに顔認証機能を組み込む。
光学式文字認識（OCR）
画像内の文字を読み取る。
空間分析
カメラ映像から人や物の動きを分析。店舗や駅などで利用される。
・人が出入りしたことの識別
・人の数をカウント
Azure AIサービス
Azure AIサービスとは
AzureでAI機能を提供する一連のサービスのこと。
インターネット経由で、プログラムを呼び出し結果を受け取る。
REST APIエンドポイントとは
AIを利用するためのアクセス先、URLのこと。
REST API（通信する仕組み。窓口）を直接使う場合は、自分でエンドポイント、認証キー、リクエスト形式などを細かく書く必要があるが、を使うと、ある程度それらをがやってくれる。
SDKとは
REST APIを簡単に使うための便利なプログラム部品
Azure AIサービスでは、.NET,Python,Java,Node.jsなどのプログラミング言語に対応したSDKが提供されている
コンピュータービジョンワークフロードとは
画像や動画をAIで処理するときの一連の作業の流れ（手順）
「コンピュータービジョンワークフロード」を実行するために提供されるサービス
- Azure AI Vision Image Analysis API
- Azure AI Custom Vision
- Azure AI Face
- Azure AI Document Inteligence
- Azure AI Video Indexer
Azure AI Vision Image Analysis API(画像分析)
これらの機能は、Vision Studioから試せる
| 機能 | 何をするもの？ | v3.2 | v4.0 |
|---|---|---|---|
| キャプションの生成 | 画像内容を文章で説明 | ○ | ○ |
| オブジェクト検出 | 物体の種類＋位置を検出する | ○ | ○ |
| 視覚的特徴のタグ付け | 画像内の物体・場所・動作などをタグ化する | ○ | ○ |
| 関心領域 | 画像の複数領域ごとに説明する | ○ | ○ |
| 画像の分類 | 画像の分類 | ○ | |
| ブランド検出 | 商業ブランドの検出 | ○ | |
| 配色 | 配色の使用状況の分析 | ○ | |
| 成人向けコンテンツ | 暴力的なものや成人向けコンテンツの検出。信頼度スコアを返す | ○ | |
| 顔の検出 | 顔の位置を検出する | ○ | |
| 人物の検出 | 画像内の人物を検出する | ○ | |
| テキストの読み取り | 画像内の文字を読み取る | ○ | |
| モデルのカスタマイズ | 利用者が用意した画像を使用。画像の分類、オブジェクト検出のためのカスタムモデルを作成しトレーニングができる | ○ | |
| 背景削除 | 背景削除 | ○ |
Custom Visionサービスとは
自分専用の画像認識AIモデルを作成できるAzureのサービス。画像内から、特定のオブジェクトを検出する。ユーザーが用意した画像データをトレーニングすることで、画像分類、またはオブジェクト検出用のカスタムモデルを作成できる。
業務では、
「自社の商品だけを判別したい」
「工場の不良品を見つけたい」
など、特殊な画像認識が必要になることがあります。
その時に使うのがCustom Visionです。
Azure AI Faceサービスとは
画像や動画から顔を検出・分析するためのAzureのAIサービス。人物の認識。SNSに投稿された人の画像を検出して、タグ付け。
| 機能 | 何をする？ | 例 |
|---|
| 顔検出（Face Detection） | 画像内の顔を見つける | 「画像に3人の顔があります」 |
| 顔分析（Face Analysis） | 顔の特徴を分析する | 眼鏡、表情、顔の位置など |
| 顔認識（Face Recognition） | 登録済みの人物か識別する | 「この人物は誰か」 |
Azure AI Document Inteligenceとは
書類や帳票（ドキュメント）から文字や情報を自動で読み取り、データ化するAzureのAIサービス。キーと値のペア、行項目を抽出してデータベースに取り込む。
何ができる？
| 機能 | 何をする？ | 例 |
|---|---|---|
| OCR（文字認識） | 画像やPDFから文字を読み取る | 住所、氏名、金額を取得 |
| フォーム認識 | 書類の項目を理解する | 請求書の項目を抽出 |
| 事前構築済みモデル | よく使う書類をすぐ解析 | 請求書、領収書、IDカード |
| カスタムモデル | 自社独自の書類を学習 | 独自フォーマットの申込書 |
Azure AI Video Indexerとは
動画をAIで分析して、動画内の情報を自動的に抽出・検索可能にするAzureのAIサービス
何ができる？
| 機能 | 何をする？ | 例 |
|---|---|---|
| 音声認識（Speech-to-Text） | 動画内の音声を文字化する | 会議動画を字幕化 |
| 顔検出 | 動画内の顔を検出する | 出演者を分析 |
| OCR | 動画内に映る文字を読む | 画面の文字・看板を抽出 |
| 物体検出 | 動画内の物を検出する | 車、人などを検出 |
| 翻訳 | 音声を別言語に変換する | 英語字幕を日本語化 |
| キーワード抽出 | 重要な単語を見つける | 会議の重要語句を抽出 |
コンピュータービジョンとは
AIが画像や動画を「見る」ことで、内容を理解する技術
- Azure AI Vision・・・画像を分析する基本サービス
- Custom Vision・・・自分専用の画像認識モデルを作る
- Azure AI Face・・・顔に特化した分析
- Azure AI Video Indexer・・・動画を分析
- Azure AI Document Intelligence・・・書類を理解
AzureのAI分野は大きく分けると、
- コンピュータービジョン（画像・動画）AIに「見る力」を与える技術
- 自然言語処理（NLP）（文章・言語）
- 音声AI（音声）
- 生成AI（文章や画像などを生成）
４つの分野がある。
ワークロードとは
コンピューターやクラウド上で実行される「処理や業務のまとまり」「コンピューターにさせる仕事」
オブジェクト検出モデルとは
画像の中に何が存在するかを検出し、さらに「どこにあるか（位置）」まで特定するAIモデル
試験でのポイント
この用語が出たら「オブジェクト検出」
✅ 「画像内の物体の位置を特定したい」
✅ 「境界ボックスを使用する」
✅ 「複数の物体を検出する」
✅ 「物体の場所を囲む」
この用語が出たら「画像分類」
✅ 「画像をカテゴリに分類する」
✅ 「犬か猫か判定する」
✅ 「マルチクラス・マルチラベル」
オクルージョンとは
物体の一部が別の物体に隠れて見えなくなる状態。画像認識やオブジェクト検出の精度に影響する要因