🔥 HNで話題

皮膚写真200枚で、10年前の画像AIが最新LLMを上回った

約3分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
CNN(シーエヌエヌ)

画像の特徴を見つけ、分類することに特化したAIの方式。

LLM(エルエルエム)

大量の文章などで学び、幅広い質問に答えるAIモデル。

生検(せいけん)

皮膚などの一部を採って、病気かどうか調べる検査。

何が起きたか

2026年10月25日、皮膚科医のMagnus Lynch氏が、皮膚の病変200個を使ったAI比較を公開した。本人の記事によると、GPT-6 Astra、Claude Fable 5.1、Inception v3を追加学習したCNNに、同じ写真を見せた。

第一候補の診断を正しく選んだのは、CNNが125個で62%。GPT-6 Astraは84個、Claude Fable 5.1は85個で、どちらも42%だった。

背景

200個の病変は、すべて生検で確かめられていた。普通の臨床写真と、皮膚を拡大して見るダーモスコピー写真を1組ずつ使った。病変の内訳は、診療を続けるべきものが100個、治療なしで帰せるものが100個だった。

CNNは、Googleが2015年に発表したInception v3を基礎にしている。ISIC Archiveの皮膚画像68,011枚で全体を追加学習し、テストに使った病変や同じ患者の写真は学習から外した。学習にはH100一台で約20分かかったという。LLM(大規模言語モデル)には、2枚の写真と同じ指示を与え、6種類の診断、確信度、第二候補、帰宅させてよいかを答えさせた。

なぜ重要か

この結果が示すのは、「新しいAIほど、どんな仕事でも強い」とは限らないことだ。今回のCNNは皮膚画像の分類に合わせて学習されていた。一方、GPT-6 AstraとClaude Fable 5.1は、幅広い仕事をするモデルとして使われた。専用の練習と、広い能力は同じではない。

記事はHacker Newsでも話題になった。今回の集計では435ポイント、206コメントだった。ただし、Hacker Newsの反応はコミュニティの注目度であり、実験の正しさを証明する数字ではない。

確認できたこと

第二候補まで認めると、CNNは173個を正しく含めた。GPT-6 Astraは134個、Claude Fable 5.1は138個だった。30個のメラノーマを第一候補にできた数は、CNNが13個、GPT-6 Astraが8個、Claude Fable 5.1が11個だった。

ただし、正解率だけでは安全性を測れない。CNNの既定の判定の境目では、30個のメラノーマのうち18個を、治療や経過観察なしで帰せると判定した。記事では、判定の境目をそろえると、その数は2個または1個になるとしている。どの失敗を重く見るかで、評価は変わる。

まだ分からないこと

200個、特にメラノーマ30個では、近い成績の順位を確定しにくい。LLMは各症例を1回しか答えておらず、回答は実行ごとに変わりうる。使われたMILK10kは2025年から公開されているため、LLMが学習で見ていた可能性も記事は指摘している。

さらに、Inception v3は現在の皮膚がんAIの最高水準ではない。この比較は、患者を日常診療で追跡した臨床試験でもない。AIを診断や帰宅の判断に使えると証明したわけではない。

次に見る点

記事は、症例、指示文、LLMの回答、採点コードを公開している。次は、別の患者から集めた未見の写真で同じ結果が出るか、LLMを複数回試しても差が残るかが焦点になる。古いか新しいかではなく、仕事への適合と失敗の重さをそろえて比べられるかが重要だ。

💬 皮膚診断では、専門CNNと汎用LLMをどう使い分けるか

HNの議論は、[元記事](https://lynchlab.net/llm-skin-cancer)が扱う、皮膚画像に特化して微調整したCNNと汎用のfrontier LLMの比較をめぐるもの。専門化の強さを評価する声と、比較条件の弱さを指摘する声があり、道具の使い方・効率・医療安全まで論点が広がった。

  • 記事は、皮膚画像に特化して微調整したCNNと汎用のfrontier LLMを比較する。MLエンジニアを名乗る投稿者は、専用モデルと汎用モデルを比べ、データセットも小さいため、実用的な結論を出すには弱いと批判した。
  • 一方、狭い視覚タスクなら、その仕事専用に学習したモデルが広い領域を扱うモデルに勝つのは自然だ、という意見もある。frontier LLMの強みは、すべての分類で最高になることではなく、必要な専門ツールを組み合わせることだという。
  • その設計では、LLMがCNNやPythonの計算を呼ぶ。harness(ツール選択・手順・検証を管理する外側の仕組み)の品質が重要で、道具を呼べるだけでは自動的に正確にならない。
  • 利用者の自己申告では、パズルで一つのモデルはループに入りクラッシュし、別の構成は類題を調べてコードを書き、1問を解いた。この事例はハーネスの差を示す体験談だが、管理されたベンチマークではない。
  • 性能は見かけの応答時間だけでなく、タスク当たりの電力や規模拡大でも測るべきだという反論もある。別の投稿者の博士課程の自己申告では、Matlabで約30分かかった処理が自作コードで約40秒になったが、1000ステップ版は11時間かかり、40秒のループを1秒短くするだけで約20分を節約できた。
  • 医療では誤りの重みが争点になった。一部は、余分な受診や生検があっても悪性病変の見逃しを減らす方がよいとし、別の人たちは、どんな処置にもリスクがあり、診断や治療をChatGPTに盲目的に委ねるのは危険だと警告した。このテストだけでは臨床検証にならない。
  • 別の投稿者の自己申告では、技術者が表計算データをLLMに渡して予測レポートを作り、回帰分析を使わなかった。反論として、適切なharnessならfrontier modelがPythonで回帰を実行できるという意見があり、結果はプロンプト・道具・検証の設計に左右されるという論点になった。

コメント206件時点の初期(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

古い画像AIが、最新AIより皮膚の写真を当てた

📰 しっかり版: 皮膚写真200枚で、10年前の画像AIが最新LLMを上回った

皮膚の写真200枚を比べると、10年前に発表された画像AIが、最新の大きなAIより多く正解しました。

約2分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
病変(びょうへん)

皮膚にできた変化の部分。

CNN(シーエヌエヌ)

画像を見ることに特化したAIの方式。

メラノーマ(めらのーま)

皮膚にできるがんの一種。

💡 ようするに

  • 皮膚の写真200枚を、3つのAIが見ました。
  • 古い画像AIは125枚を正しく当てました。
  • Hacker Newsで話題でした。でも人気は正しさの証明ではありません。

何を比べたの?

皮膚科医のMagnus Lynchさんが調べました。 GPT-6 Astra(写真も見られる大きなAI)と、Claude Fable 5.1(別の大きなAI)を使いました。 相手はInception v3というCNN(画像を見るAI)です。 このAIは2015年に発表されました。 皮膚の写真で追加の学習をしていました。

写真は、結果が分かっている200個の病変です。 病変とは、皮膚にできた変化の部分です。 普通の写真と、皮膚を拡大した写真を使いました。 3つのAIに、同じ写真を見せました。 6つの答えから、一番合うものを選ばせました。

なぜ古いAIが勝ったの?

Inception v3は、皮膚の写真を見る仕事に合わせていました。 GPT-6 AstraとClaude Fable 5.1は、広い仕事をするAIです。 だから、広い仕事ができることと、一つの仕事を正確にすることは別でした。 今回の条件では、Inception v3が125枚を正解しました。 正解率は62%です。 2つの大きなAIは84枚と85枚でした。 どちらも42%です。

まだ注意がいる点

この実験は200枚だけです。 メラノーマは30個でした。 メラノーマは、皮膚にできるがんの一種です。 数が少ないので、順位を決める試験ではありません。

古いAIも、安全とは言えません。 最初の判定のしかたでは、30個のメラノーマのうち18個を、病院へ戻らなくてよいと判定しました。 皮膚の写真で心配なことがあれば、AIだけで決めず、お医者さんに相談します。

詳しい条件と計算の材料は、元の記事で公開されています。 次は、別の写真でも同じ結果になるかが大切です。Hacker Newsの投稿が集めた反応は、あくまで話題の大きさです。

💬 専門の画像モデルとLLMは、得意分野が違う

[元記事](https://lynchlab.net/llm-skin-cancer)のコメントでは、皮膚画像だけを学んだCNNが狭い仕事で強いという見方と、データが小さいので結論を急げないという見方が並んだ。LLMを道具の司令塔にする案や、医療での安全性も議論された。

  • CNNは画像を見る専門モデル、LLMは多くの仕事をする汎用モデル。専門モデルが一つの仕事で勝つのは自然だという人がいる一方、今回のデータセットは小さく、モデルの種類も違うので広く一般化できないという批判もある。
  • LLMはCNNや計算プログラムを呼ぶ司令塔にもなれる。harnessは、どの道具をいつ使い、答えをどう確かめるかを決める外側の仕組みで、これの質が結果を左右する。
  • 投稿者の自己申告では、あるAIはパズルでループしてクラッシュし、別の構成は例を調べてコードを書き、1面を解いた。ただし、これは体験談で、公平な性能試験ではない。
  • 別の投稿者の博士課程の自己申告では、処理がMatlabの約30分から自作コードの約40秒になったが、1000ステップでは11時間かかった。40秒のループを1秒短くするだけで約20分を節約できたため、速さ・電力・大きな仕事での効率は別々に見るべきだという話である。
  • 医療では、余分な受診や生検があっても見逃しを減らしたいという人と、不要な処置やAIへの丸投げにも危険があるという人が対立した。表計算では、LLMに予測を書かせるより回帰分析(数字の傾向を調べる方法)を使うべきだという経験談に対し、LLMがPythonで回帰を実行できるという反論もあり、道具と検証が重要だという論点になった。

コメント206件時点の初期(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

🔥 HNで話題

古い写真AIが、皮ふの写真をたくさん当てた

📰 しっかり版: 皮膚写真200枚で、10年前の画像AIが最新LLMを上回った

新しいAIと古いAIに同じ写真を見せたら、古いAIのほうが多く当たりました。

約1分で読めます Tiny Why編集部 · 文: 特派員 キュリオ

ことば
Inception v3(インセプション・ブイスリー)

皮膚の写真を見る練習をしたAIの名前。

メラノーマ(めらのーま)

皮膚にできるがんの一種。

皮膚科医のMagnus Lynchさん(皮膚を見るお医者さん)が調べました。 GPT-6 Astra(写真も見られる大きなAI)を使いました。 Claude Fable 5.1(別の大きなAI)も使いました。 比べた相手は、Inception v3(写真を見るAI)です。 これは2015年に発表された仕組みです。 皮膚の写真で、もう一度勉強していました。

お医者さんが調べた皮膚の変化は、200個ありました。 3つのAIには、同じ写真を見せました。 6つの答えから、一つを選ばせました。 古いInception v3は、125個を当てました。 GPT-6 Astraは、84個を当てました。 Claude Fable 5.1は、85個を当てました。

Hacker News(ニュースを話すウェブサイト)でも話題でした。 でも、人気は正しさの証拠ではありません。

古いAIは、皮膚の写真を見る練習をしていました。 新しいAIは、いろいろな仕事ができます。 一つの仕事の練習が、力になったのかもしれません。

でも、古いAIも完ぺきではありません。 最初の決め方では、メラノーマ30個のうち18個を大丈夫としました。 メラノーマは、皮膚にできるがんの一種です。 だから、AIだけに任せてはいけません。 皮膚が心配なら、お医者さんに見てもらいます。

詳しい話は、元の記事にあります。 次は、別の写真でも同じかを調べます。

💬 ひとつが得意な機械と、何でもするAI

[元記事](https://lynchlab.net/llm-skin-cancer)のコメントでは、皮膚の写真だけを練習した機械は、その仕事なら強いかもしれないが、比べた写真が少ないのでまだ大きな結論は出せない、と話された。

  • いろいろなことをするAIは、写真を見る機械や計算道具を呼ぶ係になれます。ある人の体験談では、ひとつのAIはパズルで止まり、別の仕組みはコードを書いて解きました。
  • 速さは、待つ時間だけでなく、使う電気や大きな仕事にかかる時間も大切です。短い仕事が速くても、大きくすると遅くなることがあります。
  • 病気の判定と数字の計算は、AIに任せっぱなしにしません。人と専用の計算道具で確かめ、病気の見逃しと、いらない検査の危険の両方を考えます。

コメント206件時点の初期(改訂1)。100件を取得し、全体から100件を抽出して要約しました。内容はHN利用者の自己申告で、編集部が確認した事実ではありません。

出典・参考