医療AIの落とし穴、医師が「信じすぎる」問題に解決策は？
医療の現場に人工知能（AI）がますます導入されるにつれ、医師がAIの診断を信用するあまり、「AIパターナリズム」に陥る可能性がでてきた。私たちはAIの判断をどこまで受け入れればよいのだろうか。
人工知能（AI）が生成した医療アドバイスを信用できるだろうか？ AI技術によってさまざまな病気を診断できると主張する見出しがますます増えていくのを見ながら、私はこの1週間、この問いについて考えてみた。つまり、AIシステムはしばしば、医療訓練を受けた専門家よりも優れており、より速く、より費用が抑えられる、ということについてだ。
多くのAI技術には、周知の問題がある。 限られたデータや偏ったデータに基づいて訓練され、女性や有色人種に対しては、白人男性ほどうまく機能しないことが多いのだ。それだけでなく、これらのシステムの訓練データの中には、明らかに間違っているものもある。
もう1つ問題がある。こうしたテクノロジーが医療現場に浸透し始めると、いわゆるAIパターナリズム（父権主義）が台頭してくると研究者らは指摘する。医療におけるパターナリズムは、医療という業種の黎明期から問題視されてきた。しかし今や医師が、患者が感じる症状や医者自身の臨床判断を無視してまで、AIを信用する傾向があるかもしれない。
AIはすでに医療に活用されている。一部の病院では、患者のトリアージを補佐するためにAIを使用している。診断の補助や、治療計画の立案に使っているところもある。しかし、AI導入の本当の範囲は不明だと、英国オックスフォード大学でテクノロジーと規制について研究しているサンドラ・ワチテル教授は言う。
「どのようなシステムが使われているのか、実際にはわからないことも時々あります」とワチテル教授は言う。しかし、技術が向上し、医療機関がコスト削減の方法を模索する中で、システムの導入が進む可能性があることは確かだと付け加える。
研究結果を見ると、医師らがすでにAI技術に大いに信頼を寄せていることが伺える。数年前に発表された研究では、腫瘍医に対し、自身の皮膚がんの診断とAIシステムの診断をと比較するように求めた。その結果、多くの医師が、自分たちの臨床的見解と矛盾する場合でも、AIの診断を受け入れたのだ。
このようなテクノロジーに、私たちが必要以上に依存するようになるリスクは、非常に高い。そして、ここにパターナリズムが入り込む可能性があるのだ。
「パターナリズムという概念は、『医者が一番よく知っている（the doctor knows best）』ということわざが良く言い表している」と、最近科学雑誌に掲載された論文で述べているのは、カナダのオンタリオ州にあるホスピタル・フォー・シックチルドレンに務めるメリッサ・マクラデン医師とロクサーヌ・カーシュ医師だ。このことわざの意味するところは、医学的な訓練を受けている医師は、治療を受けている人の感情、信念、文化、その他私たちの選択に影響を与える可能性のあるあらゆるものに関係なく、患者のために決断するのに最適な人物であるというものだ。
「AIが最高のエビデンスとして位置づけられ、全知全能の医師が全知全能のAIに置き換わるとき、パターナリズムは再構成され得ます」と両医師は続ける。2人は、「アルゴリズム・パターナリズムが増加傾向」にあると言う。これは、さまざまな理由から問題があると言えるだろう。
まず前述したように、AIは間違えることもある。AIは過去のデータセットに基づいて訓練されたものであり、データ自体に欠陥が存在する場合もある。「アルゴリズムを医学部に送り、人体や病気について学ぶ方法を教えているわけではありません」とワチテル教授は言う。
つまり、「AIには理解することはできず、予測することしかできません」とマクラデン医師とカーシュ医師は述べる。例えば、過去のデータを見て、皮膚細胞生検のどのパターンが癌の診断と関連していたかを学習するよう、AIを訓練することは可能だ。しかし、過去に診断をしてデータを収集した医師は、より高い確率で有色人種における症例を見逃していたかもしれない。
また、過去の傾向を把握するだけでは、医師が患者の治療をどう継続すればいいのかということに関する、必要な情報をすべて得られるとは限らない。今は、医師と患者が協力して治療方針を決定することが望ましい。AIの活用が進んでも、患者の主体性が損なわれるようなことがあってはならない。
では、どうすればアルゴリズム・パターナリズムを防ぐことができるのか？ 考えられる解決策の1つは、より良いデータに基づいて訓練された新しい技術を設計することだ。例えば、さまざまなコミュニティの信条や希望に関する情報や、多様な生物学的データに基づいてアルゴリズムを訓練することができる。しかしそのためには、実際にデータを収集する必要がある。この作業には多額の費用がかかるため、AIを利用してコスト削減を図ろうとする人たちにとって魅力的には映らないだろうとワチテル教授は言う。
AIシステムの設計者は、AIによって評価される人々のニーズを注意深く考慮する必要がある。そして、ある集団に有効な技術が、生物学的な理由によるものであれ、信念によるものであれ、他の集団に有効であるとは限らないことを念頭に置く必要がある。「人間は身体のすべてが同じというわけではありません」とワチテル教授は言う。
最善のアプローチは、AI技術を、すでに確立された技術と同じように使うことかもしれない。レントゲンや核磁気共鳴画像法（MRI）は、他の診療情報とともに、診断の参考とするために使われる。スキャンを受けるかどうか、そして診断結果を受けてどうしたいかは、患者が選択できるようにすべきだ。私たちはAIに主導権を渡すことなく、AIを活用することができるのだ。
ーーーーー
「デクター・デス」の異名を持つフィリップ・ニチキは、人々の自殺をサポートするAIを開発している。MITテクノロジーレビューのウィル・ダグラス・ヘブン編集者は、この記事で、AIに生死に関わる決断をさせることの複雑な倫理の問題を追求した。
2020年には、新型コロナウイルス感染症（COVID-19）の診断を補助したり、特定の症例がどの程度重症化するかを予測するために、多数のAIツールが開発された。だが、ダグラス・ヘブン編集者が以前報告したように、どれもうまく機能しなかった。
ダグラス・ヘブン編集者はまた、研究室では非常にうまく機能するAIが、現実世界では機能しないこともあることについても触れた。