医学图像标准测试数据集的建立方法及装置

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111312372A(43)申请公布日2020.06.19(21)申请号202010121168.3(22)申请日2020.02.26(71)申请人广州金域医学检验中心有限公司地址510330广东省广州市海珠区新港东路2429号三楼(72)发明人车拴龙　罗丕福　刘斯　李映华　丁向东　李晶　丘伟松　(74)专利代理机构深圳中细软知识产权代理有限公司44528代理人彭佳伟(51)Int.Cl.G16H30/20(2018.01)G16H10/60(2018.01)G06K9/62(2006.01)G06N20/00(2019.01)权利要求 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 2页说明书15页附图4页(54)发明名称医学图像标准测试数据集的建立方法及装置(57)摘要本申请涉及一种医学图像标准测试数据集的建立方法，所述方法包括：获取待分析图像信息；根据预设分析模型对所述待分析图像信息进行分析，得到每个待分析图像信息对应的初始分析结果；获取所述初始分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将所述待分析图像信息归入对应的目标测试数据集中；当所述目标测试数据集中的数据量符合预设要求时，确定所述目标测试数据集为医学图像标准测试数据集。通过上述方法，可以减少人工标注工作量、提高医学图像标准测试数据集的建立效率和建立准确性。此外，还提出了一种医学图像标准测试数据集的建立装置、计算机设备及存储介质。CN111312372ACN111312372A权　利　要　求　书1/2页1.一种医学图像标准测试数据集的建立方法，其特征在于，所述方法包括：获取待分析图像信息；根据预设分析模型对所述待分析图像信息进行分析，得到每个待分析图像信息对应的初始分析结果；获取所述初始分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将所述待分析图像信息归入对应的目标测试数据集中；当所述目标测试数据集中的数据量符合预设要求时，确定所述目标测试数据集为医学图像标准测试数据集。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述满意评分等级不符合预设满意要求时，将所述待分析图像信息归入对应的待优化测试数据集中；当所述目标测试数据集中的数据量不符合预设要求时，采用目标分析模型对所述待优化测试数据集中的待分析图像信息进行分析，得到所述待优化测试数据集中每个待分析图像信息对应的目标分析结果；获取每个所述目标分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将相应的所述待分析图像信息归入对应的目标测试数据集中。3.根据权利要求2所述的方法，其特征在于，所述目标分析模型采用以下步骤得到：获取多个候选分析模型；根据所述多个候选分析模型分别对所述目标测试数据集中的待分析图像信息进行分析，分别得到对应的模型分析结果；根据每个所述候选分析模型对应的所述模型分析结果确定每个所述候选分析模型对应的模型评分，根据所述模型评分从多个候选分析模型中选择得到目标分析模型。4.根据权利要求3所述的方法，其特征在于，所述根据每个所述候选分析模型对应的所述模型分析结果确定每个所述候选分析模型对应的模型评分，包括：根据所述模型分析结果确定所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量；获取所述目标测试数据集中的数据量；根据所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量和所述目标测试数据集中的数据量，确定每个所述候选分析模型对应的模型评分。5.根据权利要求1所述的方法，其特征在于，所述获取所述初始分析结果对应的满意评分等级，包括：根据所述初始分析结果得到所述待分析图像信息对应的标注区域；获取所述待分析图像信息对应的实际区域；根据所述标注区域和所述实际区域，计算得到所述待分析图像信息对应的分析准确值；根据所述分析准确值确定所述初始分析结果对应的满意评分等级。6.根据权利要求1所述的方法，其特征在于，所述待分析图像信息为切片图像信息；所述切片图像信息采用以下步骤得到：获取预设时间段内的多张样本切片；2CN111312372A权　利　要　求　书2/2页对所述多张样本切片进行清晰度审核，将审核通过的样本切片的图像信息作为所述切片图像信息。7.根据权利要求6所述的方法，其特征在于，所述对所述多张样本切片进行清晰度审核，将审核通过的样本切片的图像信息作为所述切片图像信息，包括：获取预设清晰度要求；根据所述预设清晰度要求对所述多张样本切片进行审核，选择符合所述预设清晰度要求的样本切片；获取所述符合所述预设清晰度要求的样本切片对应的确认标识，根据所述确认标识确定符合所述预设清晰度要求的样本切片的图像信息为所述切片图像信息。8.一种医学图像标准测试数据集的建立装置，其特征在于，所述装置包括：获取模块，用于获取待分析切片，提取所述待分析切片的待分析图像信息；分析模块，用于根据预设分析模型对所述待分析图像信息进行分析，得到所述预设分析模型的初始分析结果；归类模块，用于获取所述分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将所述待分析图像信息归入对应的目标测试数据集中；确定模块，用于当所述目标测试数据集中的数据量符合预设要求时，确定所述目标测试数据集为医学图像标准测试数据集。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。3CN111312372A说　明　书1/15页医学图像标准测试数据集的建立方法及装置技术领域[0001]本发明涉及医学领域，尤其涉及一种医学图像标准测试数据集的建立方法及装置。背景技术[0002]人工智能(Artificial Intelligence，AI)是计算机科学的一个分支，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。近年来，AI技术正在向着产品化转型的方向发展。AI与医疗领域的结合更为紧密。AI与医学图像(影像学、病理学等)的研究与应用推广也逐年成为研究的热点。其中，病理诊断常被视为“金标准”或“最终诊断”。因此，AI与病理诊断在临床医学、法医学、新药开发和各种生物科研中都有广泛的研究与应用前景。AI在病理诊断中已有多篇研究型的论文发 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf ，例如在宫颈细胞病理、乳腺病理、肺病理、皮肤病理等。AI辅助判读的结果准备性在60％-99％，但多为单中心的、小数据量的结果报告。缺乏第三方、多中心、大数据、科学性与客观性的评价验证。目前行业内，以多少不等的医学图像建立训练集，通过强监督学习、弱监督学习、无监督学习、半监督学习、强化学习等技术手段进行深度神经网络的研究。AI在医学图像及其他机器视觉的AI计算机模型验证及产品化落地也同样面临着社会及行业内的认可。因此，判读AI计算机模型的水平的标准测试集成为了现在行业面临的问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 ，如何快速及准确的建立标准测试集成为了行业内的一项挑战。[0003]传统的医学图像标准测试数据集的建立方法，为有多家机构单位挑选一部分专家，在每家机构单位内选出一部分有限的数据。组织部分专家进行开会研讨，达成一定的图像标注意见，然后由多家机构组织内部员工人为进行标注并进行内部审核。然而专家们很少有时间亲自完成，多为组织内部中、低年资直接参与完成，再由专家们进行二次复核，提交到医学图像标准测试数据集中。然而人工标注使得标注工作量巨大，人工标注工作量任务繁重，建立医学图像标准测试数据集的效率低下、成本高；其次，人工标注的测试数据集的准确性、重复性和一致性都受到多种因素的影响，不能确保标注结果的准确性，导致所建立的医学图像标准测试数据集不够标准，影响数据的权威性。发明内容[0004]基于此，本发明提出了一种可以减少人工标注工作量、提高医学图像标准测试数据集的建立效率和建立准确性的医学图像标准测试数据集的建立方法及装置。[0005]一种医学图像标准测试数据集的建立方法，所述方法包括：[0006]获取待分析图像信息；[0007]根据预设分析模型对所述待分析图像信息进行分析，得到每个待分析图像信息对应的初始分析结果；[0008]获取所述初始分析结果对应的满意评分等级，当所述满意评分等级符合预设满意4CN111312372A说　明　书2/15页要求时，将所述待分析图像信息归入对应的目标测试数据集中；[0009]当所述目标测试数据集中的数据量符合预设要求时，确定所述目标测试数据集为医学图像标准测试数据集。[0010]在其中一个实施例中，所述方法还包括：当所述满意评分等级不符合预设满意要求时，将所述待分析图像信息归入对应的待优化测试数据集中；当所述目标测试数据集中的数据量不符合预设要求时，采用目标分析模型对所述待优化测试数据集中的待分析图像信息进行分析，得到所述待优化测试数据集中每个待分析图像信息对应的目标分析结果；获取每个所述目标分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将相应的所述待分析图像信息归入对应的目标测试数据集中。[0011]在其中一个实施例中，所述目标分析模型采用以下步骤得到：获取多个候选分析模型；根据所述多个候选分析模型分别对所述目标测试数据集中的待分析图像信息进行分析，分别得到对应的模型分析结果；根据每个所述候选分析模型对应的所述模型分析结果确定每个所述候选分析模型对应的模型评分，根据所述模型评分从多个候选分析模型中选择得到目标分析模型。[0012]在其中一个实施例中，所述根据每个所述候选分析模型对应的所述分析结果确定每个所述候选分析模型对应的模型评分，包括：根据所述分析结果确定所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量；获取所述目标测试数据集中的数据量；根据所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量和所述目标测试数据集中的数据量，确定每个所述候选分析模型对应的模型评分。[0013]在其中一个实施例中，所述获取所述初始分析结果对应的满意评分等级，包括：根据所述初始分析结果得到所述待分析图像信息对应的标注区域；获取所述待分析图像信息对应的实际区域；根据所述标注区域和所述实际区域，计算得到所述待分析图像信息对应的分析准确值；根据所述分析准确值确定所述初始分析结果对应的满意评分等级。[0014]在其中一个实施例中，所述待分析图像信息为切片图像信息；所述切片图像信息采用以下步骤得到：获取预设时间段内的多张样本切片；对所述多张样本切片进行清晰度审核，将审核通过的样本切片的图像信息作为所述切片图像信息。[0015]在其中一个实施例中，所述对所述多张样本切片进行清晰度审核，将审核通过的样本切片的图像信息作为所述切片图像信息，包括：获取预设清晰度要求；根据所述预设清晰度要求对所述多张样本切片进行审核，选择符合所述预设清晰度要求的样本切片；获取所述符合所述预设清晰度要求的样本切片对应的确认标识，根据所述确认标识确定符合所述预设清晰度要求的样本切片的图像信息为所述切片图像信息。[0016]第二方面，本发明实施例提出了一种医学图像标准测试数据集的建立装置，所述装置包括：[0017]获取模块，用于获取待分析图像信息；[0018]分析模块，用于根据预设分析模型对所述待分析图像信息进行分析，得到每个待分析图像信息对应的初始分析结果；[0019]归类模块，用于获取所述初始分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将所述待分析图像信息归入对应的目标测试数据集中；[0020]确定模块，用于当所述目标测试数据集中的数据量符合预设要求时，确定所述目5CN111312372A说　明　书3/15页标测试数据集为医学图像标准测试数据集。[0021]第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：[0022]获取待分析图像信息；[0023]根据预设分析模型对所述待分析图像信息进行分析，得到每个待分析图像信息对应的初始分析结果；[0024]获取所述初始分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将所述待分析图像信息归入对应的目标测试数据集中；[0025]当所述目标测试数据集中的数据量符合预设要求时，确定所述目标测试数据集为医学图像标准测试数据集。[0026]第四方面，本发明实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：[0027]获取待分析图像信息；[0028]根据预设分析模型对所述待分析图像信息进行分析，得到每个待分析图像信息对应的初始分析结果；[0029]获取所述初始分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将所述待分析图像信息归入对应的目标测试数据集中；[0030]当所述目标测试数据集中的数据量符合预设要求时，确定所述目标测试数据集为医学图像标准测试数据集。[0031]上述医学图像标准测试数据集的建立方法，通过利用计算机标注分析可以自动得到目标测试数据集，当目标测试数据集中的数据量符合预设要求时可以确定目标测试数据集为医学图像标准测试数据集，使得建立的医学图像标准测试数据集的科学性和可靠性更强，可以减少人工标注工作量、提高医学图像标准测试数据集的建立效率和建立准确性。附图说明[0032]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。[0033]图1为一个实施例中医学图像标准测试数据集的建立方法的 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图；[0034]图2为一个实施例中得到目标分析模型的流程图；[0035]图3为一个实施例中获取模型分析结果对应的满意评分等级的流程图；[0036]图4为一个实施例中初始分析结果的示意图；[0037]图5为一个实施例中获取切片图像信息的流程图；[0038]图6为一个实施例中医学图像标准测试数据集的建立装置的结构框图；[0039]图7为一个实施例中计算机设备的结构框图。具体实施例[0040]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对6CN111312372A说　明　书4/15页本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。[0041]如图1所示，提出了一种标准数据集的建立方法，该标准数据集的建立方法可以应用于终端，本实施例以应用于终端举例说明。该标准数据集的建立方法具体包括以下步骤：[0042]步骤102，获取待分析图像信息。[0043]其中，待分析图像信息是指需要分析的医学图像的信息，待分析图像信息可以包括：病理图像信息、CT扫描图像、MRI、超声、皮肤镜、内镜、荧光显微镜、电镜等图像信息。以病理图像信息为例，待分析图像信息可以是病理图像信息，可以是通过扫描相应的切片得到病理图像信息，上述病理图像信息包括病理图像和病理图像参数。获取待分析图像信息是为了对待分析图像信息进行准确地标注分析。在一个实施例中，假设待分析图像信息为病理图像信息，上述病理图像信息可以是从电子病历数据库中随机抽取得到的切片对应的图像信息。进一步的，可以对随机抽取得到的切片按照一定的要求进行审核，可以是对通过审核的切片进行数字化扫描，将所得的通过审核的切片对应的图像信息作为病理图像信息，从而可以得到待分析图像信息，可以将所得待分析图像信息用于标注分析。[0044]步骤104，根据预设分析模型对所述待分析图像信息进行分析，得到每个待分析图像信息对应的初始分析结果。[0045]其中，预设分析模型是指预先设置的、用于进行自动标注分析的AI计算机模型；初始分析结果是指利用预设分析模型对待分析图像信息进行标注分析后得到的结果。利用预设分析模型对待分析切片对应的待分析图像信息进行标注分析，可以实现由计算机对待分析切片进行初步自动标注，从而可以代替繁复的人工标注工作。在一个实施例中，预设分析模型可以是初步训练的AI计算机模型，预设分析模型可以根据分析指标进行分析，例如，可以是根据单图正确率和满意度这两个分析指标进行分析。以对待分析病理切片的待分析图像信息进行分析为例，得到的每个待分析图像信息对应的初始分析结果可以是每个待分析图像信息对应的病理区域标注线，从而可以通过预设分析模型实现对待分析病理切片的自动标注分析，得到分析结果。[0046]步骤106，获取所述初始分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将所述待分析图像信息归入对应的目标测试数据集中。其中，满意评分等级是指对初始分析结果进行满意度评分后，所得的满意度评分对应的等级；预设满意要求是指预先设置的用于确定初始分析结果对应的满意评分等级是否合格的具体要求；目标测试数据集是指包含有符合预设满意要求对应的待分析图像信息的、用于测试的数据样本的集合。当满意评分等级合格时，可以确定满意评分等级符合预设满意要求。在一个实施例中，可以由医学专家对初始分析结果进行满意度评分，从而可以得到初始分析结果对应的满意评分等级，可以获取所得满意评分等级，例如，可以是由5名的医学专家对预设分析模型的初始分析结果进行满意度评分，假设5名专家同时对预设分析模型对某一待分析图像信息的初始分析结果较为满意，则可以得到该初始分析结果对应的满意评分等级为一级；假设3～4名专家同时对预设分析模型对某一待分析图像信息的初始分析结果较为满意，则可以得到该初始分析结果对应的满意评分等级为二级；假设0～2名专家同时对预设分析模型对某一待分析图像信息的初始分析结果较为满意，则可以得到该初始分析结果对应的满意评分等级为三级，由此可以得到初始分析结果对应的满意评分等级。预设满意要求可以7CN111312372A说　明　书5/15页是：初始分析结果对应的满意评分等级为一级时，该满意评分等级合格，即符合预设满意要求。则当初始分析结果对应的满意评分等级为一级时，可以确定该满意评分等级符合预设满意要求，所以可以将相应的待分析图像信息归入用于测试的数据样本的集合中，假设目标测试数据集为X测试数据集，则可以将相应的待分析图像信息归类于X测试数据集中，即可以将待分析图像信息归入对应的目标测试数据集中。[0047]步骤108，当所述目标测试数据集中的数据量符合预设要求时，确定所述目标测试数据集为医学图像标准测试数据集。[0048]其中，目标测试数据集中的数据量是指目标测试数据集中包含的待分析图像信息的数量；预设要求是指预先设置的用于确定目标测试数据集中数据量是否合格的具体要求；医学图像标准测试数据集是指所建立的标准的用于进行数据测试的医学图像的数据样本的集合，例如：病理图像标注测试数据集、CT图像标注测试数据集、MRI图像标注测试数据集、超声图像标注测试数据集、皮肤镜图像标注测试数据集、内镜图像标注测试数据集、荧光显微镜图像标注测试数据集、电镜图像标注测试数据集等。当目标测试数据集中的数据量合格时，可以确定目标测试数据集中的数据量符合预设要求。由于目标测试数据集中的待分析图像信息符合预设满意要求，所以当目标测试数据集中的数据量合格时，可以将合格的目标测试数据集确定为医学图像标准测试数据集，从而可以建立起医学图像标准测试数据集。在一个实施例中，假设目标测试数据集中的数据量为1000，而预设要求是目标测试数据集中的数据量为1500，则目标测试数据集中的数据量不符合预设要求；假设目标测试数据集中的数据量为1900，而预设要求是目标测试数据集中的数据量为1800，则目标测试数据集中的数据量符合预设要求。当目标测试数据集中的数据量符合预设要求时，可以确定目标测试数据集中的数据量合格，所以可以将合格的目标测试数据集确定为医学图像标准测试数据集，由此可以建立医学图像标准测试数据集。[0049]上述医学图像标准测试数据集的建立方法，通过利用计算机标注分析可以自动得到目标测试数据集，当目标测试数据集中的数据量符合预设要求时可以确定目标测试数据集为医学图像标准测试数据集，使得建立的医学图像标准测试数据集的科学性和可靠性更强，可以减少人工标注工作量、提高医学图像标准测试数据集的建立效率和建立准确性。[0050]在一个实施例中，所述方法还包括：[0051]步骤1，当所述满意评分等级不符合预设满意要求时，将所述待分析图像信息归入对应的待优化测试数据集中。[0052]其中，满意评分等级不符合预设满意要求，是指满意评分等级不合格；待优化测试数据集是指需要对待分析图像信息再次进行筛选的测试数据集。因为满意评分等级不符合预设满意要求，则相应的待分析图像信息不能归入对应的目标测试数据集中，所以需要将不能归入目标测试数据集中的待分析图像信息归入到待优化测试数据集中。在一个实施例中，假设满意评分等级为一级，可以确定该满意评分等级符合预设满意要求，则满意评分等级为二级或三级时，可以确定该满意评分等级不符合预设满意要求，可以将不符合预设满意要求的相应的待分析图像信息归入待优化测试数据集中。例如，假设某一待分析图像信息的初始分析结果对应的满意评分等级为二级，则该满意评分等级不符合预设满意要求，假设待优化测试数据集为Y测试数据集，所以可以将相应的待分析图像信息归入Y测试数据集中。8CN111312372A说　明　书6/15页[0053]步骤2，当所述目标测试数据集中的数据量不符合预设要求时，采用目标分析模型对所述待优化测试数据集中的待分析图像信息进行分析，得到所述待优化测试数据集中每个待分析图像信息对应的目标分析结果[0054]其中，目标分析模型是指用于对待优化测试数据集中的待分析图像信息进行分析的AI计算机模型；目标测试数据集中的数据量不符合预设要求，是指目标测试数据集中的待分析图像信息的数据量不合格；目标分析结果是指待分析图像信息在经过目标分析模型的标注分析后得到的结果。因目标测试数据集中的数据量不符合预设要求，所以需要继续获取满意评分等级符合预设满意要求的待分析图像信息，将满意评分等级符合预设满意要求的待分析图像信息归入目标测试数据集中，直至目标测试数据集中的数据量符合预设要求。可以是采用目标分析模型将待优化测试数据集中的待分析图像信息进行分析后，得到目标分析结果，可以是根据目标分析结果将待优化测试数据集中的待分析图像信息归入目标测试数据集中。[0055]在一个实施例中，假设目标测试数据集中的数据量为900张，假设预设要求是1000张，则此时的目标测试数据集中的数据量不符合预设要求，则需要继续获取满意评分等级符合预设满意要求的待分析图像信息。可以是从待优化测试数据集中继续获取满意评分等级符合预设满意要求的待分析图像信息，所以可以是采用目标分析模型对待优化测试数据集中的待分析图像信息进行再次分析，根据所得目标分析结果可以将相应的待分析图像信息归入目标测试数据集中，直至目标测试数据集中的数据量符合预设要求，例如，假设再次分析后，从待优化测试数据集中可以得到符合预设满意要求的待分析图像信息为100张，则可以将所得100张待分析图像信息归入目标测试数据集中，则此时的目标测试数据集中的数据量为1000张，目标测试数据集中的数据量符合预设要求，可以确定符合预设要求的目标测试数据集为医学图像标准测试数据集。[0056]步骤3，获取每个所述目标分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将相应的所述待分析图像信息归入对应的目标测试数据集中。[0057]其中，满意评分等级是指由目标分析模型对待优化数据集中的待分析图像信息进行再次分析后得到的目标分析结果对应的满意度评分的等级。由于利用了目标分析模型对待优化数据集中的待分析图像信息进行了再次分析，所以可以得到上述待分析图像信息的目标分析结果，需要重新对目标分析结果进行满意度评分，从而可以确定再次分析后的待分析图像信息是否可以归入目标测试数据集中。在一个实施例中，假设获取待分析图像信息01、02、03的分析结果R1、R2、R3对应的满意评分等级分别为二级、一级、一级，则可以根据所得满意评分等级确定对应的待分析图像信息可以归入目标测试数据集中。假设预设满意要求是满意评分等级为一级时，目标分析结果为合格，所以可以将满意评分等级符合预设满意要求的待分析图像信息归入对应的目标测试数据集中。例如，可以将满意评分等级为一级的目标分析结果对应的待分析图像信息02、03归入目标测试数据集中。通过将满意评分等级不符合预设满意要求的待分析图像信息归类到待优化测试数据集中，在目标测试数据集中的数据量不符合预设要求时，可以采用目标分析模型对待优化测试数据集中的待分析图像信息进行再次分析，根据所得目标分析结果可以将符合预设满意要求的待分析图像信息归入目标测试数据集中，直至目标测试数据集中的数据量符合要求，可以实现将待分析图像信息自动归类到对应的测试数据集中，不断迭代筛选出符合相应要求的待分析图像9CN111312372A说　明　书7/15页信息归入目标测试数据集中，可以使得尽可能多的待分析图像信息均归入目标测试数据集，从而可以保证建立的医学图像标准测试数据集的数据权威性。[0058]如图2所示，在一个实施例中，所述目标分析模型采用以下步骤得到：[0059]步骤202，获取多个候选分析模型。[0060]其中，候选分析模型是指备用的、用于进行自动标注分析的AI计算机模型，候选分析模型可以是多个。可以是根据多个候选分析模型对待优化测试数据集中的待分析图像信息进行再次分析。在一个实施例中，假设候选分析模型分别为M0、M1、M2，则可以获取上述候选分析模型M0、M1、M2。[0061]步骤204，根据所述多个候选分析模型分别对所述目标测试数据集中的待分析图像信息进行分析，分别得到对应的模型分析结果。[0062]其中，模型分析结果是指待分析图像信息在经过候选分析模型的标注分析后得到的结果；由多个候选分析模型分别对目标测试数据集中的待分析图像信息进行分析，可以是将预设分析模型分析得到的分析结果作为标准 答案 八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案 ，分别检测多个候选分析模型的分析精度。在一个实施例中，假设候选分析模型分别为M0、M1、M2，可以是由M0对目标测试数据集中的待分析图像信息进行分析，得到M0对应的模型分析结果R0；然后可以由M1对目标测试数据集中的待分析图像信息进行分析，得到M1对应的模型分析结果R1；最后，可以由M3对目标测试数据集中的待分析图像信息进行分析，得到M3对应的模型分析结果R3；由此可以分别得到对应的模型分析结果R1、R2和R3。[0063]步骤206，根据每个所述候选分析模型对应的所述模型分析结果确定每个所述候选分析模型对应的模型评分，根据所述模型评分从多个候选分析模型中选择得到目标分析模型。[0064]其中，模型评分是指每个候选分析模型对应的分析精度的评分。由于存在多个候选分析模型，而每个候选分析模型的分析精度不同，所以需要根据每个候选分析模型对应的模型分析结果确定每个候选分析模型对应的模型评分，可以得到每个候选分析模型的分析精度，从而可以根据所得分析精度选出分析精度最佳的候选分析模型作为目标分析模型，利用目标分析模型对待优化测试数据集中的待分析图像信息进行再次分析。在一个实施例中，假设候选分析模型为M1、M2、M3，M1、M2、M3对应的模型分析结果分别为R1、R2、R3，根据模型分析结果确定每个候选分析模型对应的模型评分，可以是根据R1、R2、R3分别确定M1、M2、M3对应的模型评分，假设确定得到的模型评分分别为T1、T2、T3。根据模型评分从多个候选分析模型中选择得到目标分析模型，可以是选择模型评分最高的候选分析模型，例如，假设模型评分T1、T2、T3中的T2为最高分，则可以将T2对应的候选分析模型M2作为目标分析模型。通过对多个候选分析模型进行筛选，选择分析精度最高的候选分析模型作为目标分析模型，根据目标分析模型可以对待优化测试数据集中的待分析图像信息进行再分析，从而可以从待优化测试数据集中筛选出可归入目标测试数据集的待分析图像信息，可以增加目标测试数据集中的数据量，使得目标测试数据集中的数据量符合预设要求，同时还可以实现对待优化测试数据集中的待分析图像信息进行再次审核，多次审核可以使得医学图像标准测试数据集的科学性和可靠性更强。[0065]在一个实施例中，所述根据每个所述候选分析模型对应的所述分析结果确定每个所述候选分析模型对应的模型评分，包括：10CN111312372A说　明　书8/15页[0066]步骤1，根据所述模型分析结果确定所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量。[0067]其中，满意评分等级符合预设满意要求的待分析图像信息的数据量，是指待优化测试数据集中待分析图像信息经过目标分析模型的分析后所得模型分析结果对应的满意评分等级符合预设满意要求的待分析图像信息的数量。由于可以将预设分析模型分析得到的当前的目标测试数据集中的数据量作为标准答案，所以可以根据上述标准答案确定多个候选分析模型的分析精度，可以是通过比对预设分析模型对应的数据量和多个候选分析模型对应的数据量来确定多个候选分析模型的分析精度。在一个实施例中，假设多个候选分析模型分别为M0、M1、M2，假设M0、M1、M2对应的满意评分等级符合预设满意要求的待分析图像信息的数据量分别为1000、1100、900，则可以分别获取上述三个数据量。[0068]步骤2，获取所述目标测试数据集中的待分析图像信息的数据量。[0069]其中，目标测试数据集中的数据量是指预设分析模型分析得到的当前的目标测试数据集中的待分析图像信息的数量。由于可以将目标测试数据集中的待分析图像信息的数据量作为标准答案，所以可以是获取该标准答案，用于比对多个候选分析模型对应的数据量。在一个实施例中，假设目标测试数据集中的数据量为1000，则可以获取上述数据量1000。[0070]步骤3，根据所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量和所述目标测试数据集中的数据量，确定每个所述候选分析模型对应的模型评分。[0071]由于可以将目标测试数据集中的数据量作为标准答案，可以是通过比对预设分析模型对应的数据量和多个候选分析模型对应的数据量来确定多个候选分析模型的分析精度，具体为，当候选分析模型对应的数据量大于或等于目标测试数据集中的数据量时，可以确定该候选分析模型的分析精度较高，从而可以确定该候选分析模型的模型评分较高。在一个实施例中，假设多个候选分析模型分别为M0、M1、M2，假设M0、M1、M2对应的满意评分等级符合预设满意要求的待分析图像信息的数据量分别为1000、1100、900。假设目标测试数据集中的数据量为1000，则可以将1000作为标准答案，可得：M0对应的数据量为1000＝目标测试数据集中的数据量1000，则可以假设得到的M0对应的模型评分为100分；M1对应的数据量为1100＞目标测试数据集中的数据量1000，则可以假设得到的M1对应的模型评分为110分；M2对应的数据量为900＜目标测试数据集中的数据量1000，则可以假设得到的M2对应的模型评分为90分，从而可以分别得到每个候选分析模型对应的模型评分。通过分别比对多个候选分析模型对应的数据量与目标测试数据集中的数据量的大小，可以依次确定每个候选分析模型对应的模型评分，可以实现准确评估每个候选分析模型的分析精度，从而可以明确评判每个候选分析模型的性能。[0072]如图3所示，在一个实施例中，所述获取所述初始分析结果对应的满意评分等级，包括：[0073]步骤302，根据所述初始分析结果得到所述待分析图像信息对应的标注区域。[0074]其中，标注区域是指预设分析模型对待分析图像信息进行计算机自动标注后得到的对应的、标注线所划定的图像区域。由于预设分析模型对待分析图像信息进行了标注分析，所以可以从所得的初始分析结果中得到标注区域，可以将标准区域用于判断预设分析模型的标注精度。如图4所示，在一个实施例中，假设所得初始分析结果如图所示，图4所示11CN111312372A说　明　书9/15页的实线多边形区域为标注区域，则可以获取该标注区域。[0075]步骤304，获取所述待分析图像信息对应的实际区域。[0076]其中，实际区域是指实际上的待分析图像信息对应的图像区域。由于预设分析模型分析标注得到的标注区域可能会与实际区域之间存在一定的误差，所以可以是通过获取实际区域，从而可以判断标注区域与实际区域之间的误差大小。在一个实施例中，实际区域可以由专家人工标注得到。如图4所示，假设虚线多边形区域为实际区域，则可以获取图4中的虚线多边形区域，从而可以得到待分析图像信息对应的实际区域。[0077]步骤306，根据所述标注区域和所述实际区域，计算得到所述待分析图像信息对应的分析准确值。[0078]其中，分析准确值是指分析得到的标注区域的准确程度的数值。由于实际区域与标注区域之间可能存在一定的误差，所以可以根据标注区域和实际区域计算得到二者的相近程度。在一个实施例中，可以是计算实际区域与标注区域之间的比值，可以将所得比值作为分析准确值。例如，如图4所示，假设实线多边形区域为标注区域，假设多边形(即标注病理区域)的面积为5；假设实际区域为虚线多边形区域，A区为误诊区域，B区为实际区域与标注区域的重叠区，C区为漏诊区域，假设B区的面积为4.5；则可以计算实际区域与标注区域之间的比值为：4.5/5＝0.9，可将所得比值作为分析准确值，则可以得到分析准确值为0.9。在另一个实施例中，假设B区的面积为4，假设标注区域的面积为5，则可以计算实际区域与标注区域之间的比值为：4/5＝0.8，则可以得到分析准确值为0.8。[0079]步骤308，根据所述分析准确值确定所述初始分析结果对应的满意评分等级。[0080]由于分析准确值可以表示分析得到的标注区域的准确程度，所以可以根据分析准确值确定初始分析结果对应的满意评分等级，例如，当分析准确值越高，初始分析结果的准确程度越高，对应的满意评分等级会越高。在一个实施例中，假设分析准确值分别为0.8、0.9和1.0，则可以得到分析准确值越接近1时，初始分析结果的准确程度越高。当初始分析结果的准确程度越高时，由专家对初始分析结果进行满意度评分就会相应地越高。例如，当5名专家对分析准确值为1.0的初始分析结果均满意时，可以确定该初始分析结果对应的满意评分等级为一级；当3名专家对分析准确值为0.9的初始分析结果较为满意，而2名专家对该初始分析结果不满意，则该初始分析结果对应的满意评分等级为二级；当1名专家对分析准确值为0.8的初始分析结果较为满意而4名专家对该初始分析结果不满意，则该初始分析结果对应的满意评分等级为三级。由此可以分别确定每个初始分析结果对应的满意评分等级。根据实际区域和标注区域可以计算得到待分析图像信息对应的分析准确值，根据所得分析准确值可以确定初始分析结果对应的满意评分等级，从而可以确保分析过程中的单图正确率和审核满意度，大大提高标注分析的效率及正确性。[0081]在一个实施例中，所述待分析图像信息为切片图像信息。[0082]其中，切片图像信息是指医学类切片对应的图像信息。由于待分析图像信息是指需要进行标注分析的医学图像，所以待分析图像信息可以是切片图像信息，具体可以是病理切片对应的图像信息。在一个实施例中，假设切片图像信息为病理切片对应的图像信息，以病理切片对应的图像信息为例，对待分析图像信息进行分析，可以是对病理切片对应的图像信息进行分析。如图5所示，上述切片图像信息可以是采用以下步骤得到：[0083]步骤502，获取预设时间段内的多张样本切片。12CN111312372A说　明　书10/15页[0084]其中，样本切片是指从电子病历数据库中选择得到的作为样本的切片，例如，样本病理切片；预设时间段内的多张样本切片是指预先设置的一定时间段内的多张样本切片，例如，预设时间段可以是一年。获取预设时间段内的多张样本切片，可以避免人工操作对抽样数据的人为影响，以及避免因疾病分类或者其他分类方法造成的某一类样本数据的缺失。在一个实施例中，假设样本切片为乳腺癌病理切片，假设预设时间段为2年，则获取预设时间段内的多张样本切片，可以是随机抽取选择2年内的2000张乳腺癌病理切片，从而可以得到预设时间段内的多张样本切片。[0085]步骤504，对所述多张样本切片进行清晰度审核，将审核通过的样本切片的图像信息作为所述切片图像信息。[0086]其中，审核通过的样本切片的图像信息是指满足清晰度审核条件的样本切片对应的图像信息。由于样本切片是随机抽选的，多张样本切片中可能存在不合格的切片，所以需要对多张样本切片进行审核，将不合格的切片剔除。然后可以将通过审核的样本切片得到病理图像，例如，可以将审核通过的样本切片的图像信息作为切片图像信息。在一个实施例中，可以是设置清晰度审核的具体条件，根据清晰度审核的具体条件对多张样本切片进行审核，从而可以剔除一些常见的不合格或不适合的切片。例如，假设随机抽取了2年内的2000张乳腺癌病理切片，假设根据清晰度要求对上述2000张乳腺癌病理切片进行审核，剔除了50张清晰度不合格的乳腺癌病理切片，则通过清晰度审核的样本切片为1950张，所以可以得到审核通过的样本切片为1950张，从而可以将通过审核的1950张样本切片的图像信息作为切片图像信息图像。可以将所得病理图像用于建立医学图像标准测试数据集。通过随机抽取单位时间内的多张样本切片，并对多张样本切片进行清晰度审核，仅将通过审核的样本切片对应的图像信息作为切片图像信息，可以减少人工干预和人工工作量，及时剔除不合格的样本切片，达到较好的筛选效果。[0087]在一个实施例中，所述对所述多张样本切片进行清晰度审核，将审核通过的样本切片的图像信息作为所述切片图像信息，包括：[0088]步骤1，获取预设清晰度要求。[0089]其中，预设清晰度要求是指预先设置的、对样本切片进行初步审核的、针对切片清晰度的具体要求。由于需要对多张样本切片进行审核，以便及时剔除不合格的样本切片，所以可以预先设置清晰度审核的具体要求。在一个实施例中，假设预设清晰度要求为切片无任何杂质附着，则可以获取上述预设清晰度要求。[0090]步骤2，根据所述预设清晰度要求对所述多张样本切片进行审核，选择符合所述预设清晰度要求的样本切片。[0091]其中，符合预设清晰度要求的样本切片是指满足预设清晰度要求的具体条件的样本切片。在一个实施例中，假设预设清晰度要求为切片无任何杂质附着，则可以根据该预设清晰度要求对多张样本切片进行审核。当样本切片中有杂质附着时，可以确定该样本切片不符合预设清晰度要求，可以剔除不符合预设清晰度要求的样本切片；当样本切片无任何杂质附着时，可以确定该样本切片符合预设清晰度要求，可以选择符合预设清晰度要求的样本切片。例如，假设预设清晰度要求为切片无任何杂质附着，假设样本切片为10000张，可以根据预设清晰度要求对10000张样本切片进行审核。假设审核得到9000张无任何杂质附着的样本切片，则可以选择上述9000张样本切片，即可得到符合预设清晰度要求的样本切13CN111312372A说　明　书11/15页片。[0092]步骤3，获取所述符合所述预设清晰度要求的样本切片对应的确认标识，根据所述确认标识确定符合所述预设清晰度要求的样本切片的图像信息为切片图像信息。[0093]其中，确认标识是指符合预设清晰度要求的样本切片通过后期确认的样本切片的标识。由于预设清晰度要求是对样本切片进行初步审核的具体要求，根据预设清晰度要求可以剔除一些常见的不合格或不适合的样本切片，可以是由医生对通过初步审核的样本切片进行后期确认，从而可以进一步确保选择得到都是合格的样本切片。在一个实施例中，可以是由医生在显微镜端对符合预设清晰度要求的样本切片进行确认，当医生确认该样本切片无误后，可以得到该样本切片对应的确认标识。根据所得的确认标识，可以确定该样本切片通过了后期确认，可以将通过后期确认的样本切片的图像信息作为切片图像信息，由此可以得到切片图像信息。假设符合预设清晰度要求的样本切片为9000张，可以是由医生在显微镜端对该9000张样本切片进行确认。假设医生确认上述9000张切片均无误，则可以分别得到上述9000张样本切片对应的确认标识，根据所得确认标识可以将上述9000张样本切片的图像信息作为切片图像信息；假设医生确认上述9000张切片中的8900张切片无误，剩余100张切片有误，则可以分别得到上述8900张切片对应的确认标识，根据所得确认标识可以将上述8900张样本切片的图像信息作为切片图像信息。通过设置预设清晰度要求对样本切片进行初步审核，然后对通过初步审核的样本切片进行后期确认，从而可以确保筛选得到的都是合格的样本切片，可以将合格的样本切片的图像信息作为切片图像信息，可以减少因切片自身原因而影响医学图像标准数据集的建立，可以保证数据的权威性。[0094]如图6所示，本发明实施例提出了一种医学图像标准测试数据集的建立装置，所述装置包括：[0095]获取模块602，用于获取待分析图像信息；[0096]分析模块604，用于根据预设分析模型对所述待分析图像信息进行分析，得到每个待分析图像信息对应的初始分析结果；[0097]归类模块606，用于获取所述初始分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将所述待分析图像信息归入对应的目标测试数据集中；[0098]确定模块608，用于当所述目标测试数据集中的数据量符合预设要求时，确定所述测试数据集为医学图像标准测试数据集。[0099]在一个实施例中，所述方法还包括：归类模块606还用于当所述满意评分等级不符合预设满意要求时，将所述待分析图像信息归入对应的待优化测试数据集中；分析模块604还用于当所述目标测试数据集中的数据量不符合预设要求时，采用目标分析模型对所述待优化测试数据集中的待分析图像信息进行分析，得到所述待优化测试数据集中每个待分析图像信息对应的目标分析结果；归类模块606还用于获取每个所述目标分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将相应的所述待分析图像信息归入对应的目标测试数据集中。[0100]在一个实施例中，所述目标分析模型采用以下步骤得到：获取模块602还用于获取多个候选分析模型；分析模块604还用于根据所述多个候选分析模型分别对所述目标测试数据集中的待分析图像信息进行分析，分别得到对应的模型分析结果；确定模块608还用于根据每个所述候选分析模型对应的所述模型分析结果确定每个所述候选分析模型对应的14CN111312372A说　明　书12/15页模型评分，根据所述模型评分从多个候选分析模型中选择得到目标分析模型。[0101]在一个实施例中，所述根据每个所述候选分析模型对应的所述分析结果确定每个所述候选分析模型对应的模型评分，包括：获取模块602还用于根据所述分析结果确定所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量；获取模块602还用于获取所述目标测试数据集中的数据量；确定模块608还用于根据所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量和所述目标测试数据集中的数据量，确定每个所述候选分析模型对应的模型评分。[0102]在一个实施例中，所述获取所述分析结果对应的满意评分等级，包括：获取模块602还用于根据所述初始分析结果得到所述待分析图像信息对应的标注区域；获取模块602还用于获取所述待分析图像信息对应的实际区域；获取模块602还用于根据所述标注区域和所述实际区域，计算得到所述待分析图像信息对应的分析准确值；确定模块608还用于根据所述分析准确值确定所述初始分析结果对应的满意评分等级。[0103]在一个实施例中，所述待分析图像信息为切片图像信息；所述切片图像信息采用以下步骤得到：获取模块602还用于获取预设时间段内的多张样本切片；确定模块608还用于对所述多张样本切片进行清晰度审核，将审核通过的样本切片的图像信息作为所述切片图像信息。[0104]在一个实施例中，所述对所述多张样本切片进行清晰度审核，将审核通过的样本切片的图像信息作为所述切片图像信息，包括：获取模块602还用于获取预设清晰度要求；分析模块604还用于根据所述预设清晰度要求对所述多张样本切片进行审核，选择符合所述预设清晰度要求的样本切片；确定模块608还用于获取所述符合所述预设清晰度要求的样本切片对应的确认标识，根据所述确认标识确定符合所述预设清晰度要求的样本切片的图像信息作为所述切片图像信息。[0105]图7示出了一个实施例中计算机设备的内部结构图。该计算机设备可以是终端。如图7所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现医学图像标准测试数据集的建立方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行医学图像标准测试数据集的建立方法。网络接口用于与外界进行通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。[0106]在一个实施例中，本申请提供的医学图像标准测试数据集的建立方法可以实现为一种计算机程序的形式，计算机程序可在如图7所示的计算机设备上运行。计算机设备的存储器中可存储组成该医学图像标准测试数据集的建立装置的各个程序模板。比如，获取模块602，分析模块604，归类模块606，确定模块608。[0107]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：获取待分析图像信息；根据预设分析模型对所述待分析图像信息进行分析，得到每个待分析图像信息对应的初始分析结果；获取所述初始分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求15CN111312372A说　明　书13/15页时，将所述待分析图像信息归入对应的目标测试数据集中；当所述目标测试数据集中的数据量符合预设要求时，确定所述目标测试数据集为医学图像标准测试数据集。[0108]在一个实施例中，所述方法还包括：当所述满意评分等级不符合预设满意要求时，将所述待分析图像信息归入对应的待优化测试数据集中；当所述目标测试数据集中的数据量不符合预设要求时，采用目标分析模型对所述待优化测试数据集中的待分析图像信息进行分析，得到所述待优化测试数据集中每个待分析图像信息对应的目标分析结果；获取每个所述目标分析结果对应的满意评分等级，当所述满意评分等级符合预设满意要求时，将相应的所述待分析图像信息归入对应的目标测试数据集中。[0109]在一个实施例中，所述目标分析模型采用以下步骤得到：获取多个候选分析模型；根据所述多个候选分析模型分别对所述目标测试数据集中的待分析图像信息进行分析，分别得到对应的模型分析结果；根据每个所述候选分析模型对应的所述模型分析结果确定每个所述候选分析模型对应的模型评分，根据所述模型评分从多个候选分析模型中选择得到目标分析模型。[0110]在一个实施例中，所述根据每个所述候选分析模型对应的所述分析结果确定每个所述候选分析模型对应的模型评分，包括：根据所述分析结果确定所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量；获取所述目标测试数据集中的数据量；根据所述满意评分等级符合所述预设满意要求的待分析图像信息的数据量和所述目标测试数据集中的数据量，确定每个所述候选分析模型对应的模型评分。[0111]在一个实施例中，所述获取所述初始分析结果对应的满意评分等级，包括：根据所述初始分析结果得到所述待分析图像信息对应的标注区域；获取所述待分析图像信息对应的实际区域；