Microsoftは細かな品質の差を評価するため、人間の判断を評価作業に取り入れています。404 Mediaが入手した内部資料によると、Microsoft Copilotの評価作業でも人間の判断が使われており、少なくとも数百人の契約スタッフが作業に関わっているとのこと。

契約スタッフに表示されるのは、ユーザーが入力した元のプロンプト、ユーザーがアップロードした画像、Copilotが作成した2種類の編集結果です。スタッフは2枚の編集結果を比較し、ユーザーの指示に正しく従っているか、変更対象以外が維持されているか、ゆがみや不自然な質感がないか、全体としてどちらの仕上がりが優れているかを判断しているそう。


契約スタッフの証言によると、レビュー作業ではユーザーがアップロードした画像の顔にぼかしが入っていない場合もあり、性的な画像編集を求めるプロンプトも多く含まれていたとのこと。具体的には、人物のスカートを短くしたり性的なポーズに変更したりするよう求める指示も確認されており、契約スタッフがセンシティブな画像を目にするケースがあったと404 Mediaは報じています。
https://gigazine.net/news/20260929-microsoft-copilot-human-reading/