皮膚写真200枚で、10年前の画像AIが最新LLMを上回った
CNN(シーエヌエヌ)
画像の特徴を見つけ、分類することに特化したAIの方式。
LLM(エルエルエム)
大量の文章などで学び、幅広い質問に答えるAIモデル。
生検(せいけん)
皮膚などの一部を採って、病気かどうか調べる検査。
何が起きたか
2026年10月25日、皮膚科医のMagnus Lynch氏が、皮膚の病変200個を使ったAI比較を公開した。本人の記事によると、GPT-6 Astra、Claude Fable 5.1、Inception v3を追加学習したCNNに、同じ写真を見せた。
第一候補の診断を正しく選んだのは、CNNが125個で62%。GPT-6 Astraは84個、Claude Fable 5.1は85個で、どちらも42%だった。
背景
200個の病変は、すべて生検で確かめられていた。普通の臨床写真と、皮膚を拡大して見るダーモスコピー写真を1組ずつ使った。病変の内訳は、診療を続けるべきものが100個、治療なしで帰せるものが100個だった。
CNNは、Googleが2015年に発表したInception v3を基礎にしている。ISIC Archiveの皮膚画像68,011枚で全体を追加学習し、テストに使った病変や同じ患者の写真は学習から外した。学習にはH100一台で約20分かかったという。LLM(大規模言語モデル)には、2枚の写真と同じ指示を与え、6種類の診断、確信度、第二候補、帰宅させてよいかを答えさせた。
なぜ重要か
この結果が示すのは、「新しいAIほど、どんな仕事でも強い」とは限らないことだ。今回のCNNは皮膚画像の分類に合わせて学習されていた。一方、GPT-6 AstraとClaude Fable 5.1は、幅広い仕事をするモデルとして使われた。専用の練習と、広い能力は同じではない。
記事はHacker Newsでも話題になった。今回の集計では435ポイント、206コメントだった。ただし、Hacker Newsの反応はコミュニティの注目度であり、実験の正しさを証明する数字ではない。
確認できたこと
第二候補まで認めると、CNNは173個を正しく含めた。GPT-6 Astraは134個、Claude Fable 5.1は138個だった。30個のメラノーマを第一候補にできた数は、CNNが13個、GPT-6 Astraが8個、Claude Fable 5.1が11個だった。
ただし、正解率だけでは安全性を測れない。CNNの既定の判定の境目では、30個のメラノーマのうち18個を、治療や経過観察なしで帰せると判定した。記事では、判定の境目をそろえると、その数は2個または1個になるとしている。どの失敗を重く見るかで、評価は変わる。
まだ分からないこと
200個、特にメラノーマ30個では、近い成績の順位を確定しにくい。LLMは各症例を1回しか答えておらず、回答は実行ごとに変わりうる。使われたMILK10kは2025年から公開されているため、LLMが学習で見ていた可能性も記事は指摘している。
さらに、Inception v3は現在の皮膚がんAIの最高水準ではない。この比較は、患者を日常診療で追跡した臨床試験でもない。AIを診断や帰宅の判断に使えると証明したわけではない。
次に見る点
記事は、症例、指示文、LLMの回答、採点コードを公開している。次は、別の患者から集めた未見の写真で同じ結果が出るか、LLMを複数回試しても差が残るかが焦点になる。古いか新しいかではなく、仕事への適合と失敗の重さをそろえて比べられるかが重要だ。
古い画像AIが、最新AIより皮膚の写真を当てた
📰 しっかり版: 皮膚写真200枚で、10年前の画像AIが最新LLMを上回った
皮膚の写真200枚を比べると、10年前に発表された画像AIが、最新の大きなAIより多く正解しました。
病変(びょうへん)
皮膚にできた変化の部分。
CNN(シーエヌエヌ)
画像を見ることに特化したAIの方式。
メラノーマ(めらのーま)
皮膚にできるがんの一種。
💡 ようするに
- 皮膚の写真200枚を、3つのAIが見ました。
- 古い画像AIは125枚を正しく当てました。
- Hacker Newsで話題でした。でも人気は正しさの証明ではありません。
何を比べたの?
皮膚科医のMagnus Lynchさんが調べました。 GPT-6 Astra(写真も見られる大きなAI)と、Claude Fable 5.1(別の大きなAI)を使いました。 相手はInception v3というCNN(画像を見るAI)です。 このAIは2015年に発表されました。 皮膚の写真で追加の学習をしていました。
写真は、結果が分かっている200個の病変です。 病変とは、皮膚にできた変化の部分です。 普通の写真と、皮膚を拡大した写真を使いました。 3つのAIに、同じ写真を見せました。 6つの答えから、一番合うものを選ばせました。
なぜ古いAIが勝ったの?
Inception v3は、皮膚の写真を見る仕事に合わせていました。 GPT-6 AstraとClaude Fable 5.1は、広い仕事をするAIです。 だから、広い仕事ができることと、一つの仕事を正確にすることは別でした。 今回の条件では、Inception v3が125枚を正解しました。 正解率は62%です。 2つの大きなAIは84枚と85枚でした。 どちらも42%です。
まだ注意がいる点
この実験は200枚だけです。 メラノーマは30個でした。 メラノーマは、皮膚にできるがんの一種です。 数が少ないので、順位を決める試験ではありません。
古いAIも、安全とは言えません。 最初の判定のしかたでは、30個のメラノーマのうち18個を、病院へ戻らなくてよいと判定しました。 皮膚の写真で心配なことがあれば、AIだけで決めず、お医者さんに相談します。
詳しい条件と計算の材料は、元の記事で公開されています。 次は、別の写真でも同じ結果になるかが大切です。Hacker Newsの投稿が集めた反応は、あくまで話題の大きさです。
💬 専門の画像モデルとLLMは、得意分野が違う
[元記事](https://lynchlab.net/llm-skin-cancer)のコメントでは、皮膚画像だけを学んだCNNが狭い仕事で強いという見方と、データが小さいので結論を急げないという見方が並んだ。LLMを道具の司令塔にする案や、医療での安全性も議論された。
- CNNは画像を見る専門モデル、LLMは多くの仕事をする汎用モデル。専門モデルが一つの仕事で勝つのは自然だという人がいる一方、今回のデータセットは小さく、モデルの種類も違うので広く一般化できないという批判もある。
- LLMはCNNや計算プログラムを呼ぶ司令塔にもなれる。harnessは、どの道具をいつ使い、答えをどう確かめるかを決める外側の仕組みで、これの質が結果を左右する。
- 投稿者の自己申告では、あるAIはパズルでループしてクラッシュし、別の構成は例を調べてコードを書き、1面を解いた。ただし、これは体験談で、公平な性能試験ではない。
- 別の投稿者の博士課程の自己申告では、処理がMatlabの約30分から自作コードの約40秒になったが、1000ステップでは11時間かかった。40秒のループを1秒短くするだけで約20分を節約できたため、速さ・電力・大きな仕事での効率は別々に見るべきだという話である。
- 医療では、余分な受診や生検があっても見逃しを減らしたいという人と、不要な処置やAIへの丸投げにも危険があるという人が対立した。表計算では、LLMに予測を書かせるより回帰分析(数字の傾向を調べる方法)を使うべきだという経験談に対し、LLMがPythonで回帰を実行できるという反論もあり、道具と検証が重要だという論点になった。
コメント206件時点の初期(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。
古い写真AIが、皮ふの写真をたくさん当てた
📰 しっかり版: 皮膚写真200枚で、10年前の画像AIが最新LLMを上回った
新しいAIと古いAIに同じ写真を見せたら、古いAIのほうが多く当たりました。
Inception v3(インセプション・ブイスリー)
皮膚の写真を見る練習をしたAIの名前。
メラノーマ(めらのーま)
皮膚にできるがんの一種。
皮膚科医のMagnus Lynchさん(皮膚を見るお医者さん)が調べました。 GPT-6 Astra(写真も見られる大きなAI)を使いました。 Claude Fable 5.1(別の大きなAI)も使いました。 比べた相手は、Inception v3(写真を見るAI)です。 これは2015年に発表された仕組みです。 皮膚の写真で、もう一度勉強していました。
お医者さんが調べた皮膚の変化は、200個ありました。 3つのAIには、同じ写真を見せました。 6つの答えから、一つを選ばせました。 古いInception v3は、125個を当てました。 GPT-6 Astraは、84個を当てました。 Claude Fable 5.1は、85個を当てました。
Hacker News(ニュースを話すウェブサイト)でも話題でした。 でも、人気は正しさの証拠ではありません。
古いAIは、皮膚の写真を見る練習をしていました。 新しいAIは、いろいろな仕事ができます。 一つの仕事の練習が、力になったのかもしれません。
でも、古いAIも完ぺきではありません。 最初の決め方では、メラノーマ30個のうち18個を大丈夫としました。 メラノーマは、皮膚にできるがんの一種です。 だから、AIだけに任せてはいけません。 皮膚が心配なら、お医者さんに見てもらいます。
詳しい話は、元の記事にあります。 次は、別の写真でも同じかを調べます。
💬 ひとつが得意な機械と、何でもするAI
[元記事](https://lynchlab.net/llm-skin-cancer)のコメントでは、皮膚の写真だけを練習した機械は、その仕事なら強いかもしれないが、比べた写真が少ないのでまだ大きな結論は出せない、と話された。
- いろいろなことをするAIは、写真を見る機械や計算道具を呼ぶ係になれます。ある人の体験談では、ひとつのAIはパズルで止まり、別の仕組みはコードを書いて解きました。
- 速さは、待つ時間だけでなく、使う電気や大きな仕事にかかる時間も大切です。短い仕事が速くても、大きくすると遅くなることがあります。
- 病気の判定と数字の計算は、AIに任せっぱなしにしません。人と専用の計算道具で確かめ、病気の見逃しと、いらない検査の危険の両方を考えます。
コメント206件時点の初期(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。
💬 皮膚診断では、専門CNNと汎用LLMをどう使い分けるか
HNの議論は、[元記事](https://lynchlab.net/llm-skin-cancer)が扱う、皮膚画像に特化して微調整したCNNと汎用のfrontier LLMの比較をめぐるもの。専門化の強さを評価する声と、比較条件の弱さを指摘する声があり、道具の使い方・効率・医療安全まで論点が広がった。
コメント206件時点の初期(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。