アノテーション事例～海中画像へのバウンディングボックス

アノテーション作業が求められた背景

AIを活用した、開発中の物体検出システムに合わせたデータセットの準備

F社では、水中で利用する産業用ドローンの開発を行っている。そのプロジェクトの中で同社クライアントからの要望をふまえ、水中の物体を自動で検出するため、AIを活用したシステム開発を行っていた。物体検出自体は可能との感触を得ており、プロトタイプが完成した段階でまずは既存のデータセットで試験を実施してみたが、同社のシステムには適合しなかった。そのため、新たにデータセットを用意する必要が出てきた。

精度の高い新たなデータセットを用意するためには、それなりの画像データにアノテーション作業を行うことが必要となるが、社内にはアノテーション作業に精通したメンバーは少なく、またリソース自体の確保も困難であった。さらに将来的には大量のデータ処理が必要になる可能性もあったことから、AIおよびアノテーションに関する豊富な知識を有しているベンダーにアノテーション作業を委託する方向で検討が実施された。

バウンディングボックスによるアノテーション作業を実施する際の課題

要望に柔軟に対応しつつセキュリティが保持される作業体制

本アノテーション作業は研究開発に類するものであり、また、同社の社内事情も踏まえて以下のような課題が想定された。

• 同社には学習データの準備などに精通したメンバーがおらず、また社内ではリソース自体も足りなかったため、自社でアノテーション作業を実施することは困難であった。
• 同社のシステムに適合する既存のデータセットが存在せず、アノテーション作業を進める過程においても仕様の変更や追加が発生する可能性があったため、変更に対応可能な実施体制が必要であった。
• AIシステムの開発と並走する形でアノテーションを実施する必要があるため、アノテーション仕様に関して、同社担当者とコミュニケーションが十分にとれる実施体制も必須であった。
• アノテーション作業の対象データは同社の顧客から預かったデータであるため、機密保持の点についても考慮する必要があった。

このような課題を抱えるなかでアノテーション作業を外部委託することを決定し、オーガニック検索を中心に、最適と思われるベンダーの選定作業が始まった。

アノテーション作業の委託にサイバーテックを選定した理由

セキュリティが担保されたセブITアウトソーシングセンター

上記課題を踏まえて業者選定を行う中で、豊富なアノテーション作業経験を有し、かつ海外の自社拠点で実施するためにリーズナブルなアノテーション作業が期待できそうなサイバーテックに見積を依頼することにした。事前に両社間で機密保持契約書を締結した上で情報の開示へと進んだ。

何度かのミーティングを行った結果、4社の中からサイバーテックがアウトソーシング先として選定された。決め手となったポイントは以下の通りである。

• 他社からは提案のなかった準委任契約を採用することにより、変化する要望に柔軟に対応可能な体制を構築することが可能であった。
• 同社指定のツールの利用についても特に問題はなく、プロジェクト開始当初に少しのトレーニングを実施することで作業可能な状態になることが事前に確認された。
• サイバーテックのセブITアウトソーシングセンターは、作業者が全て正社員であり、オフィスは指紋認証による入室管理を行うなど、機密保持の点で安心できた。
• 日本人窓口でありながらリーズナブルな価格で実施でき、同社の想定予算をクリアすることができた。

具体的なアノテーション作業の流れ

3か月にわたり、専任要員をアサインしてアノテーション作業を実施

アノテーションの内容はバウンディングボックスで、ドローンで撮影された動画をキャプチャして集めた画像に対して実施した。また、ツールについてはお客様から指定があったクラウドのアノテーションツールを利用し、基本的な作業手順については指示を受けながら作業を進めた。作業後に保存したデータを使って同社の担当者が目的の形式に出力し、AIシステムの検証に用いられた。

作業は、アノテーション実施済データを実際にAIシステムに学習させたのち、結果をフィードバックした上で仕様を再検討、という形で進められた。開発段階のため、アノテーションを実施するデータセットの数よりも、要望に即した作業が求められたこともあり、特に開始から3週間程度は定期的にミーティングを開催し、仕様の確認や課題点の共有を徹底的に行った。そのおかげで作業員もツールの操作や仕様を十分に習熟することができ、プロジェクトの後半にはアノテータの習熟度も向上し、作業は順調に進められた。

最初の2か月間の作業期間で、最終的にF社の要望通りのアノテーション内容およびデータ数の対象データを作成することができたが、その後追加のデータセットが必要になったこともあり、更に1か月間の契約延長が行われ、最終的には3か月間アノテーション作業を実施した。

AIシステムとアノテーションに関する、今後の展開

AIシステムの検証を進めながら、アノテーションにより本格的な教師データ作成を実施

AIシステムの初期開発段階で必要とされたアノテーション作業を完了し、現在は教師データやAIシステムの検証作業を同社内で実施している。また、検証作業と並行して、顧客向けのプレリリースや、更なるデータセットの準備を進めている。これらの準備が整った段階で、アノテータを増員した上で、本格的なアノテーション作業を実施する予定となっている。同社の担当者からは「とてもスムーズに作業が進行し、想定していた検証結果も得ることができた。次のアノテーション作業でも引き続きご協力頂きたい」との言葉を頂いた。