Willis 环自动分类与动脉量化技术在 TOF-MRA 图像上的评估：CROWN 挑战|文献速递-医学影像算法文献分享

Title

题目

Evaluation of techniques for automated classification and arteryquantification of the circle of Willis on TOF-MRA images: The CROWNchallenge

Willis 环自动分类与动脉量化技术在 TOF-MRA 图像上的评估：CROWN 挑战

01

文献速递介绍

颅内动脉瘤（IAs）常发生于Willis环（CoW）的动脉上，Willis环是为大脑供血的动脉吻合环。颅内动脉瘤破裂最常导致动脉瘤性蛛网膜下腔出血（ASAH），这是一种严重的中风类型，具有重大的社会经济影响（Nieuwkamp 等，2009）。未破裂的颅内动脉瘤在普通人群中的发生率约为3%，尽管大多数不会破裂，但那些会破裂的动脉瘤往往在破裂前未能被诊断出来。因此，预防动脉瘤性蛛网膜下腔出血的工作重点在于早期发现和预防性治疗高危颅内动脉瘤。有动脉瘤性蛛网膜下腔出血家族史的人更容易患上颅内动脉瘤，且破裂风险更高（Zuurbier 等，2020），这表明遗传因素可能在颅内动脉瘤的发生发展中起作用。这促使人们建议对动脉瘤性蛛网膜下腔出血患者的一级亲属进行长期筛查，通常采用3D时间飞跃法磁共振血管造影（TOF-MRA），间隔时间为五年，因为颅内动脉瘤可能在任何时候形成。然而，在这类筛查中，未破裂颅内动脉瘤的检出率在初次筛查时为11%，在随访筛查时为8%（Bor 等，2014）。这表明筛查过程仍不够理想。确定能够识别出颅内动脉瘤高风险人群的危险因素，将有助于改进筛查过程。基于对磁共振血管造影扫描的初步评估，可对高危人群进行更频繁的筛查，而低危人群的筛查频率可降低甚至停止。此外，这些危险因素还可能有助于识别其他高危人群。以往的研究提出了一些可能预测颅内动脉瘤发生的影像标志物，包括Willis环的不完整性或不对称性，以及Willis环主要动脉的分叉角度和直径的某些变化（Vos 等，2024；Kancheva 等，2022）。然而，支持这些标志物的证据水平仍然有限。 在图像上手动评估危险因素既费时又容易出现标注者内部和标注者之间的不一致（El-Barhoun 等，2009）。因此，为了更大规模地研究以加强现有证据或发现颅内动脉瘤发生的新危险因素，需要自动化方法来评估Willis环的形态。目前，尚无系统的方法来确定最佳的方法论策略。 为此，我们组织了一项科学挑战赛，将各种技术与临床参考标准进行比较。参赛者的任务包括：（1）对Willis环的解剖变异进行自动分类；（2）对Willis环主要动脉的直径和分叉角度进行自动预测。我们提供了300例TOF-MRA扫描图像用于训练，另外300例用于测试，所有图像均经过人工标注。提交的结果通过平衡准确率、平均绝对误差和皮尔逊相关系数等指标进行评估。本文对6支参赛团队的结果进行了详细分析。研究结果表明，多种方法可能适用于Willis环的自动化评估，但这些方法仍需进一步改进才能达到临床标准。该挑战赛仍接受未来的成果提交，为新技术提供了一个基准平台。 1.1 相关工作 将分别讨论与每个任务相关的文献。总体而言，关于Willis环形态自动测量方法的文献有限。虽然一些研究已经涉及Willis环的（多）类分割（Nader 等，2023；Essadik 等，2022），但对其结构或动脉直径的提取以及根据临床标准进行的验证尚未得到深入探索。 （1）Willis环解剖结构分类：已提出多种分类方案对Willis环的结构变异进行分类。Lippert和Pabst（1985）提出了一种被广泛引用的分类系统，将Willis环的前部和后部分别分为10个不同的类别。图1展示了具有相应Lippert类别的Willis环变异示例。另一个值得注意的分类系统是由Lazorthes等（1979）提出的，该系统采用22种变异来描述Willis环的结构。一些研究没有遵循这些已建立的系统，而是使用不同的分类系统，甚至不使用任何分类系统（Jones 等，2021）。这种不一致性使得跨研究比较变得复杂，并导致报告的患病率范围广泛。此外，发育不全的定义可能各不相同，被认为是发育不全的动脉直径范围从小于0.5毫米到小于1.0毫米不等。这些直径通常是在单个动脉位置手动标注的，这进一步使研究间的比较变得复杂。 （2）Willis环主要动脉直径和分叉角度的量化：动脉直径的自动评估是一个成熟的研究领域，许多研究专注于颅内、颈动脉或肺动脉。通常，这是通过基于中心线提取的垂直重建来实现的（Adam 等，2021；Sedghi Gamechi 等，2019；Avadiappan 等，2020）。虽然有一项研究专门涉及Willis环动脉直径的自动测量，但该方法尚未通过参考标注进行验证（Dumais 等，2022）。此外，在端到端框架中，不需要分割步骤的替代方法可能会提供相似或更好的性能。不同方法的比较对于不同研究领域的各种应用具有很高的价值。与动脉直径相比，关于分叉角度测量的研究仍然较少。很少有研究探讨分叉角度与神经血管疾病之间的关系，所有这些研究都依赖于手动标注来计算这些角度（Kancheva 等，2022；Noh和Kang，2019；Zhang 等，2018）。此外，由于目前没有黄金标准，这些标注协议可能会有所不同，并且容易出错。 1.2 贡献 Willis环颅内动脉分类和量化（CROWN）挑战赛作为一个公开基准，用于评估Willis环自动分类和动脉量化的新技术和现有技术。本文总结了2023年参与CROWN挑战赛的各团队的结果，该挑战赛与在加拿大温哥华举行的第26届国际医学图像计算与计算机辅助干预会议（MICCAI）同期举办。本文遵循生物医学图像分析挑战赛（BIAS）指南（Maier-Hein 等，2020），对生物医学图像分析挑战赛进行透明报告。

Abatract

摘要

Assessing risk factors for intracranial aneurysm (IA)development on images is crucial for early detection ofhigh-risk cases. IAs often form at bifurcations within the circle of Willis (CoW), but manual assessment of thesearteries is both time-consuming and susceptible to inconsistencies. Previous studies on imaging markers for IAdevelopment lack sufficient evidence for clinical implications, highlighting the need for automated methods toassess CoW morphology. No systematic approach currently exists to identify the best methodological strategies.To address this, we organized a scientific challenge to compare various techniques against a clinical referencestandard. Participants were tasked with (1) automated classification of CoW anatomical variants and (2)automated prediction of CoW artery diameters and bifurcation angles. We provided 300 TOF-MRA scans fortraining and another 300 for testing, all manually annotated. Submissions were evaluated using balancedaccuracy, mean absolute error, and Pearson correlation coefficient metrics. This paper provides a detailedanalysis of the results from six participating teams. The findings show that various methods may be suitable forautomated CoW assessment, but that these need further improvement to meet clinical standards. The challengeremains open for future submissions, offering a benchmark for new techniques.

评估图像上颅内动脉瘤（IA）形成的风险因素，对于早期发现高危病例至关重要。颅内动脉瘤常形成于Willis环（CoW）的分叉处，但对这些动脉的人工评估不仅耗时，还容易出现不一致性。以往关于颅内动脉瘤形成的影像标志物研究，在临床应用方面缺乏充分证据，这凸显了采用自动化方法评估Willis环形态的必要性。目前，尚无系统的方法来确定最佳的方法论策略。 为解决这一问题，我们组织了一项科学挑战赛，将各种技术与临床参考标准进行对比。参赛者的任务包括：（1）对Willis环的解剖变异进行自动分类；（2）对Willis环的动脉直径和分叉角度进行自动预测。我们提供了300例TOF-MRA扫描图像用于训练，另外300例用于测试，所有图像均经过人工标注。提交的成果通过平衡准确率、平均绝对误差和皮尔逊相关系数等指标进行评估。 本文对6支参赛团队的结果进行了详细分析。研究结果表明，多种方法可能适用于Willis环的自动化评估，但这些方法仍需进一步改进才能达到临床标准。该挑战赛仍接受未来的成果提交，为新技术提供了一个基准平台。

Method

方法

The challenge results were presented during a half-day event heldat MICCAI 2023, with an open call for submissions beyond the confeence. The organizing team consisted of Iris Vos, Ynte Ruigrok, EdwinBennink, Myrthe Buser, Birgitta Velthuis, and Hugo Kuijf. The training data was released on May 1, 2023 under a Creative CommonsAttribution-NonCommercial license (CC-BY-NC).Participants gained access to the training dataset after registrationon the hosting platform (https://crown.isi.uu.nl) and were encouragedto enhance the dataset using publicly available data. The challengeparticipants had no access to the test set. Developed algorithms hadto be submitted for evaluation as Docker container images. Each teamwas permitted only one submission. Example code for evaluation andbuilding Docker images were provided. Members of the organizersinstitutes could not participate in the challenge. Participants who submitted their results before the deadline for MICCAI 2023 (August 15,2023), automatically qualified as co-authors. Per team a maximum ofthree co-authors are included. The CROWN challenge collaborated withthe Topology-Aware Anatomical Segmentation of the Circle of Willisfor CTA and MRA (TopCoW) challenge (Yang et al., 2023) by sharinga subset (N=20) of the training data.

2.1 挑战赛组织情况 挑战赛结果在2023年国际医学图像计算与计算机辅助干预会议（MICCAI 2023）期间举办的一场半天活动中公布，且会议之后仍开放接收成果提交。组织团队成员包括艾瑞斯·沃斯、因特·鲁伊格罗克、埃德温·本宁克、迈尔特·布瑟、比吉塔·费尔特休斯和雨果·库伊夫。训练数据于2023年5月1日发布，采用知识共享署名-非商业性使用许可（CC-BY-NC）。 参赛者在主办平台（https://crown.isi.uu.nl）注册后即可获取训练数据集，并被鼓励利用公开可用数据对该数据集进行扩充。挑战赛参赛者无法接触到测试集。开发的算法必须以Docker容器镜像的形式提交用于评估，每个团队仅允许提交一次。主办方提供了评估和构建Docker镜像的示例代码。组织方机构的成员不得参与该挑战赛。在2023年国际医学图像计算与计算机辅助干预会议截止日期（2023年8月15日）前提交结果的参赛者，自动获得共同作者资格，每个团队最多包含三名共同作者。 CROWN挑战赛与CTA和MRA的Willis环拓扑感知解剖分割（TopCoW）挑战赛（Yang等，2023）开展合作，共享了一部分（20例）训练数据。

Conclusion

结论

In this study, we compared the performance of several techniquesto automatically classify CoW anatomical variants and quantify majorCoW artery diameters and bifurcation angles. Although promising, theproposed solutions are not yet suitable for clinical implementation asthe current results do not meet the standards set by manual measurements and inter- and intra-annotator agreements. The CROWNchallenge remains open for future submissions, providing a benchmarkfor evaluating new techniques to assess CoW morphology .

在本研究中，我们对几种用于自动分类Willis环（CoW）解剖变异型以及量化Willis环主要动脉直径和分叉角度的技术性能进行了比较。尽管这些提出的解决方案具有一定前景，但目前仍不适用于临床实践——因为现有结果尚未达到人工测量以及标注者内部和标注者间一致性所设定的标准。 CROWN挑战赛将持续开放接收未来的成果提交，为评估Willis环形态学评估新技术提供一个基准平台。

Results

结果

3.1. Challenge submissionFifty teams registered for the CROWN challenge and signed theconfidentiality agreement between April and August 2023. We receivedfinal submissions from six teams representing five different countries,all of whom participated in the challenge session organized at MICCAI2023.

3.2. Participating teamsThis section includes the solutions to Task 1 and 2 proposed by eachteam, ordered based on their final rankings. Detailed descriptions of allmethods are published on the Zenodo platform (Vos, 2025).

3.1 挑战赛提交情况   2023年4月至8月期间，共有50支团队注册参加CROWN挑战赛并签署了保密协议。最终我们收到了来自6支团队的提交成果，这些团队分别代表5个不同的国家，所有团队均参与了2023年国际医学图像计算与计算机辅助干预会议（MICCAI 2023）期间组织的挑战赛环节。    ### 3.2 参赛团队   本节涵盖了各团队针对任务1和任务2提出的解决方案，按其最终排名顺序排列。所有方法的详细描述已发布在Zenodo平台上（Vos，2025）。

Figure

图

Fig. 1. Maximum intensity projections for various CoW variants using 3D TOF-MRA. Left: complete and symmetrical CoW (Lippert anterior class ‘A’ and posterior class ‘A’, seeFig. 2). Middle: Third A2 segment of the anterior cerebral artery and aplasia of both posterior communicating arteries (Lippert anterior class ‘C’ and posterior class ‘E’). Right:unilateral fetal-type posterior cerebral artery (Lippert anterior class ‘D’ and posterior class ‘J’).

图 1. 利用 3D TOF-MRA 获得的不同 Willis 环（CoW）变异型的最大强度投影图左图：完整且对称的 Willis 环（利珀特分类中，前循环为 “A” 类，后循环为 “A” 类，详见图 2）。中图：大脑前动脉存在第三 A2 段，且双侧后交通动脉发育不全（利珀特分类中，前循环为 “C” 类，后循环为 “E” 类）。右图：单侧胚胎型大脑后动脉（利珀特分类中，前循环为 “D” 类，后循环为 “J” 类）。

Fig. 2. Overview of tasks in the CROWN challenge. Upper left: 3 D TOF-MRA scan used as the input for both tasks. Red boxes indicate the anterior (upper) and posterior (lower)CoW part. Lower left: Schematic representation of the circle of Willis (CoW), with arteries denoted in black and bifurcations in red. A1 = A1-segment of the anterior cerebralartery (ACA), A2 = A2-segment of the ACA, M1 = M1-segment of the middle cerebral artery (MCA), M2 = M2-segment of the MCA, ICA = internal carotid artery, PcoA = posteriorcommunicating artery, P1 = P1-segment of the posterior cerebral artery, BA = basilar artery, VA = vertebral artery, C7 = C7-segment of the ICA, VBJ = vertebrobasilar junction.Upper right: Classification of CoW anatomical variants according to Lippert’s system, figure adapted from (Ophelders et al., 2024). Lower right: Quantification of major CoW arterydiameters and bifurcation angles

图2. CROWN挑战赛任务概述   左上：作为两项任务输入的3D TOF-MRA扫描图像。红色方框分别指示Willis环（CoW）的前部（上方）和后部（下方）。   左下：Willis环的示意图，其中动脉以黑色标注，分叉处以红色标注。A1=大脑前动脉（ACA）A1段，A2=大脑前动脉A2段，M1=大脑中动脉（MCA）M1段，M2=大脑中动脉M2段，ICA=颈内动脉，PcoA=后交通动脉，P1=大脑后动脉P1段，BA=基底动脉，VA=椎动脉，C7=颈内动脉C7段，VBJ=椎基底动脉连接处。   右上：根据Lippert分类系统对Willis环解剖变异的分类，图改编自（Ophelders等，2024）。   右下：Willis环主要动脉直径和分叉角度的量化。

Fig. 3. Class distribution of training and test cases for Task 1. Anterior part: A, single anterior communicating artery (AcoA); internal carotid artery (ICA) bifurcates intoprecommunicating anterior cerebral artery segment (A1-ACA) and middle cerebral artery (MCA). B, Two or more AcoAs. C, Medial artery of corpus callosum arises from AcoA (3A2 segments). D, Fusion of ACAs over short distance. E, ACAs merge into common trunk, then split distally. F, MCA originates as two separate trunks from ICA. G, Hypoplasiaor absence of AcoA. H, One A1-ACA hypoplastic or absent. I, Hypoplasia or absence of ICA. J, Hypoplasia or absence of AcoA; MCA arises as two separate trunks. Posterior part:A, Bilateral posterior communicating arteries (PcoAs) present. B, Posterior cerebral artery (PCA) originates mainly from ICA, known as unilateral fetal-type PCA; opposite PcoAis patent. C, Bilateral fetal-type PCAs with both precommunicating segments (P1-PCAs) patent. D, Unilateral PcoA present. E, Hypoplasia or aplasia of both PcoAs. F, Unilateralfetal-type PCA and hypoplasia or absence of the P1-PCA. G, Unilateral fetal-type PCA and hypoplasia or absence of the contralateral PcoA. H, Unilateral fetal-type PCA andhypoplasia or absence of both a P1-PCA and PcoA. I, Bilateral fetal-type PCAs with hypoplasia or absence of both P1-PCAs. J, Bilateral fetal-type PCAs with hypoplasia or absencof one P1-PCA.

图3. 任务1训练集和测试集的类别分布  前部：   A. 单一前交通动脉（AcoA）；颈内动脉（ICA）分叉为交通前大脑前动脉段（A1-ACA）和大脑中动脉（MCA）。   B. 两条或更多前交通动脉。   C. 胼胝体 medial 动脉起自前交通动脉（3个A2段）。   D. 大脑前动脉（ACAs）在短距离内融合。   E. 大脑前动脉合并为共同主干，随后在远端分叉。   F. 大脑中动脉从颈内动脉以两个独立主干发出。   G. 前交通动脉发育不全或缺失。   H. 一侧A1段大脑前动脉（A1-ACA）发育不全或缺失。   I. 颈内动脉发育不全或缺失。   J. 前交通动脉发育不全或缺失；大脑中动脉以两个独立主干发出。   后部：   A. 双侧后交通动脉（PcoAs）存在。   B. 大脑后动脉（PCA）主要起自颈内动脉（称为单侧胚胎型大脑后动脉）；对侧后交通动脉通畅。   C. 双侧胚胎型大脑后动脉，且双侧交通前段（P1-PCAs）均通畅。   D. 单侧后交通动脉存在。   E. 双侧后交通动脉发育不全或未发育。   F. 单侧胚胎型大脑后动脉，且该侧P1段大脑后动脉（P1-PCA）发育不全或缺失。   G. 单侧胚胎型大脑后动脉，且对侧后交通动脉发育不全或缺失。   H. 单侧胚胎型大脑后动脉，且该侧P1段大脑后动脉和后交通动脉均发育不全或缺失。   I. 双侧胚胎型大脑后动脉，且双侧P1段大脑后动脉均发育不全或缺失。   J. 双侧胚胎型大脑后动脉，且一侧P1段大脑后动脉发育不全或缺失。

Fig. 4. Distribution of training and test cases for Task 2. Upper: artery diameters. Lower: bifurcation angles. A2 = A2 segment of the anterior cerebral artery (ACA); A1 = A1segment of the ACA; M1 = M1 segment of the medial cerebral artery (MCA); M2 = M2 segment of the MCA; ICA = internal carotid artery; C7 = C7 segment of the ICA; PcoA =posterior communicating artery; P1 = P1 segment of the posterior cerebral artery (PCA); BA = basilar artery; VA = vertebral artery; VBJ = vertebrobasilar junction.

图4. 任务2训练集和测试集的分布   上：动脉直径   下：分叉角度   A2=大脑前动脉（ACA）A2段；A1=大脑前动脉A1段；M1=大脑中动脉（MCA）M1段；M2=大脑中动脉M2段；ICA=颈内动脉；C7=颈内动脉C7段；PcoA=后交通动脉；P1=大脑后动脉（PCA）P1段；BA=基底动脉；VA=椎动脉；VBJ=椎基底动脉连接处。

Fig. 5. Bland-Altman plots illustrating the intra- and inter-annotator variability for the artery diameters (left column) and bifurcation angles (right column). The dotted black linesindicate the mean difference, or bias. The red lines show the 95% limits of agreement (LoA). Upper left: bias 0.01 mm, LoA [−0.24 and 0.26 mm]. Lower left: bias <0.01 mm,LoA [−0.24 and 0.24 mm]. Upper right: bias −0.3 degrees, LoA [−10 and 10 degrees]. Lower right: bias 0.2 degrees, LoA [−11 and 12 degrees].

图5. 展示动脉直径（左列）和分叉角度（右列）的标注者内部及标注者间变异性的Bland-Altman图**   黑色虚线表示平均差异（即偏差）。红色线表示95%一致性界限（LoA）。   左上：偏差为0.01毫米，95%一致性界限为[-0.24毫米，0.26毫米]。   左下：偏差小于0.01毫米，95%一致性界限为[-0.24毫米，0.24毫米]。   右上：偏差为-0.3度，95%一致性界限为[-10度，10度]。   右下：偏差为0.2度，95%一致性界限为[-11度，12度]。  

Fig. 6. Results of proposed solutions by each team for Task 2 (quantification of artery diameters and bifurcation angles) on the test set, shown per artery. Lower mean absoluteerror (MAE) and higher Pearson correlation coefficient are associated with better performance. The method of Labcom I3M yielded MAE scores exceeding 4.0 mm for all arteriesexcept the BA

图 6. 各团队针对任务 2（动脉直径和分叉角度量化）在测试集上按动脉分类的结果平均绝对误差（MAE）越低且皮尔逊相关系数越高，表明性能越好。Labcom I3M 团队的方法中，除基底动脉（BA）外，所有动脉的 MAE 得分均超过 4.0 毫米。

Fig. 7. Results of proposed solutions by each team for Task 2 (quantification of artery diameters and bifurcation angles) on the test set, shown per bifurcation. Lower meanabsolute error (MAE) and higher Pearson correlation coefficient are associated with better performance. The method of Labcom I3M yielded MAE scores exceeding 4.0 mm for allarteries except the BA.

图 7. 各团队针对任务 2（动脉直径和分叉角度量化）在测试集上按分叉处分类的结果平均绝对误差（MAE）越低且皮尔逊相关系数越高，表明性能越好。Labcom I3M 团队的方法中，除基底动脉（BA）外，所有动脉的 MAE 得分均超过 4.0 毫米。

Fig. 8. Correlation between predicted and references values for each submitted solution to Task 2. The left column depicts plots per method for artery diameter predictions(x-axis) versus reference values (y-axis); the right column shows plots per method for bifurcation angle predictions (x-axis) versus reference values (y-axis). AIntropy consistentlypredicts distinct values that represent the mean for that specific artery or bifurcation. Both Labcom I3M and Snaillab teams’ methods predict diameters below 1.2 mm, indicatingunderestimations compared to the reference standard. Additionally, an overestimation of smaller bifurcation angles was observed for these two teams.

图 8. 任务 2 各提交方案的预测值与参考值之间的相关性左列展示了每种方法的动脉直径预测值（x 轴）与参考值（y 轴）的关系图；右列展示了每种方法的分叉角度预测值（x 轴）与参考值（y 轴）的关系图。AIntropy 团队的方法始终预测出特定动脉或分叉处的均值，呈现出明显的集中趋势。Labcom I3M 团队和Snaillab 团队的方法预测的直径均低于 1.2 毫米，与参考标准相比存在低估。此外，这两个团队的方法对较小的分叉角度存在高估现象。

Fig. A.1. Confusion matrices of the results per team (AIntropy, agaldran_ims, and agaldran_segs**) for anterior (left column) and posterior (right column) classification. Rowsrepresent reference classes, while columns represent predicted classes. Values in each cell indicate the count of instances classified accordingly

图 A.1. 各团队（AIntropy、agaldran_ims 和 agaldran_segs）在 Willis 环前部（左列）和后部（右列）分类中的混淆矩阵结果行代表参考类别（真实类别），列代表预测类别。每个单元格中的数值表示被分到相应类别的样本数量

Fig. A.2. Confusion matrices of the results per team (DCS_CUSAT, Labcom I3M, and Sibets&USTS**) for anterior (left column) and posterior (right column) classification. Rowsrepresent reference classes, while columns represent predicted classes. Values in each cell indicate the count of instances classified accordingly

图A.2. 各团队（DCS_CUSAT、Labcom I3M及Sibets&USTS）在Willis环前部（左列）和后部（右列）分类中的混淆矩阵结果**   行代表参考类别（真实类别），列代表预测类别。每个单元格中的数值表示被分到相应类别的样本数量。

Table

表

Table 1Acquisition details of the challenge dataset.

表1 挑战赛数据集的采集详情

Table 2Results and ranking of proposed solutions by each team for Task 1 (classification of the anterior and posterior CoW variant) on the test set

表2 各团队针对任务1（Willis环前部和后部变异型分类）在测试集上提出的解决方案的结果及排名

Table 3Results and ranking of proposed solutions by each team for Task 2 (quantification ofartery diameters and bifurcation angles) on the test set.

表3 各团队针对任务2（动脉直径和分叉角度量化）在测试集上提出的解决方案的结果及排名

Table 4Recall per class for anterior and posterior classification.

表 4 前部和后部分类中每个类别的召回率

Table 5F1-score per class for anterior and posterior classification

表5 前部和后部分类中每个类别的F1分数 

Table 6Results of proposed solutions by each team for Task 1 (classification of the anteriorand posterior CoW variant) on data from another institution (N=30).

表 6 各团队针对任务 1（Willis 环前部和后部变异型分类）在另一机构数据（样本量 = 30）上提出的解决方案的结果

Table 7Results of proposed solutions by each team for Task 2 (quantification of artery diameters and bifurcation angles) on data from another institution(N=30).

表 7 各团队针对任务 2（动脉直径和分叉角度量化）在另一机构数据（N=30）上提出的解决方案的结果