BlackHalo logo
Published on

十年历史的CNN在皮肤癌诊断上超越前沿大语言模型

Authors
  • Name
    sungam
    lynchlab.net
A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis 相关头图
头图来源: Picsum

研究背景与核心发现

一位皮肤科医生对当前最先进的大语言模型(LLM)进行了测试,发现它们在皮肤癌诊断上的准确率低于预期。相比之下,一个十年前发布的卷积神经网络(CNN)在相同任务上表现更优。该医生使用了200个经活检确诊的皮肤病变样本,对GPT-6 Astra、Claude Fable 5.1以及微调后的Inception v3进行了对比测试。结果显示,CNN正确诊断了125个病例(62%),而两个LLM分别只正确诊断了84个(42%)和85个(42%)。这一发现挑战了通用大模型在专业医疗领域优于专用小模型的普遍假设。

测试设计与方法

测试数据来自MILK10k公共数据集,每个病变包含临床照片和皮肤镜图像。200个病变中,100个为需要治疗或活检的恶性病变(包括30个黑色素瘤、25个基底细胞癌、25个鳞状细胞癌和20个光化性角化病),另外100个为良性病变(50个痣和50个脂溢性角化病)。所有病变均经过组织病理学确认,包括良性病例,这使得诊断难度高于常规临床场景。LLM被提供两张图像,并要求给出六种诊断中最可能的一种(或“不确定”)、置信度、第二选择以及处理建议(安全出院、活检或随访)。CNN则使用预训练的Inception v3,在68,011张ISIC图像上微调了所有层,训练时排除了测试病变及其相关图像,确保模型从未见过这些样本。

详细结果对比

总体准确率方面,CNN达到62%,显著高于两个LLM的42%。在黑色素瘤诊断上,CNN正确识别13/30例,而GPT-6 Astra和Claude Fable 5.1分别识别8/30和11/30。基底细胞癌方面,GPT-6 Astra表现最佳(25/25),CNN次之(24/25),Claude Fable 5.1较差(18/25)。鳞状细胞癌上,CNN正确16/25,GPT-6 Astra为12/25,Claude Fable 5.1仅5/25。在良性病变识别上,CNN优势明显:正确识别37/50个痣和26/50个脂溢性角化病,而GPT-6 Astra分别只有16和13,Claude Fable 5.1分别为33和6。允许第二选择时,CNN达到173/200,LLM分别为134和138。

错误模式分析

两个LLM表现出明显的系统性偏差。GPT-6 Astra倾向于将病变诊断为基底细胞癌,75个病例被它归为此类,而实际只有25个,其中包括14个黑色素瘤被误判。Claude Fable 5.1则偏好光化性角化病,53个病例被它归为此类,实际只有20个。CNN的错误模式不同,它误判的17个黑色素瘤中,8个被归为痣,6个被归为脂溢性角化病。在安全性评估上,CNN在预设阈值下保留了77个不安全病变(共100个),而LLM保留了97和96个;同时CNN正确放行了76个安全病变,LLM仅放行32和22个。但CNN在预设阈值下放行了18个黑色素瘤,调整阈值后可降至2或1个。

局限性与讨论

作者指出测试存在若干局限:样本量较小(200例),黑色素瘤仅30例,统计不确定性较大;LLM每次运行结果可能不同;所有病变均经活检,属于疑难病例,可能低估了LLM在常规场景下的表现;MILK10k数据集自2025年公开,LLM可能在训练中见过,这反而有利于LLM;CNN并非最先进模型,当前最先进的皮肤癌AI使用图像Transformer集成,性能更好。此外,当以患者身份提问时,两个LLM几乎总是建议就医(99/100和98/100),包括良性病变,这虽然安全但缺乏特异性。

结论与启示

这项测试表明,一个小型、老旧的专用CNN在识别皮肤病变方面明显优于两个前沿LLM。作者强调,通用大模型在专业领域可能不如经过微调的专用模型,尤其是在图像分类任务上。CNN模型足够小,可在手机浏览器中通过WebGPU运行,且不上传数据。作者提供了完整的测试用例、提示词、LLM回复和评分代码供复现。这一结果对AI在医疗领域的应用具有参考价值,提示在部署AI辅助诊断时,应优先考虑经过专业训练的专用模型,而非盲目依赖通用大模型。

原标题:A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis。 HN 原始发布时间:2026年10月26日星期一。当前记录为 656 分、269 条评论。

阅读原文 · 查看 HN 讨论