機械学習にバックドアを埋め込む研究が発表

少し古い話ですが。

「AI学習アルゴリズムにバックドアや処理改変をしかけられる可能性が指摘される」

ニューヨーク大学の研究者達が、ディープラーニングにバックドア等をしかける研究について発表しました。

論文は次のURLからダウンロードできます。

現在、いわゆる「AI」の中心といえるのがディープラーニングですが、計算量が多いこともあり、しばしば他社の機械学習サービス（MLasS）を利用します。その処理の複雑さを利用することで、バックドアとなるような因子を埋め込むことができる、というのが今回の研究。

具体的な攻撃モデルとして、「攻撃者が学習過程（データや学習アルゴリズム）に介入する場合」と「攻撃者が介入して生成した学習後データをダウンロードさせる場合」が挙げられています。

今回は、例として、手書きの数字の認識と、交通標識（停止など）を別のものと認識させています。

研究者達によれば、もしこのバックドアを埋め込まれた場合、再学習をしても、誤認識の精度は下がるものの除去には至らないとのこと。論文では、予防と検出の研究を進める必要があるとしています。