作为深度学习的重要分支之一，计算机视觉已被广泛运用在各类图像数据处理领域。此外，得益于扫描探针显微镜（SPM）技术的发展，研究人员能够直观地从单分子乃至单原子尺度上分析材料从而深入对材料和物质的理解。然而，在SPM图像中提取关键信息一直依赖于专业实验人员的主观识别。当数据量变得庞杂时，这一提取方式的低效性和主观性尤为突出。因此，找到一个能够准确、快速分析SPM图像数据并提高实验分析效率的方法成为了迫切需求。

近日，上海大学材料基因组工程研究院孙强教授团队和南开大学王小野教授团队合作，开发了一个深度学习SPM图像分析框架。该框架运用基于卷积神经网络的目标检测算法（Mask R-CNN）以实现SPM图像二元或多元纳米结构的识别、分类和实例分割。

在该深度学习框架中，工作流程从标准SPM图像采集开始，然后通过t-SNE算法进行图像评估，该算法用于确认高分辨率SPM图像中分子的可分性。随后，在原始SPM图像中选择一个小区域进行标记，实验人员只需人工标记约20个分子就能完成训练准备工作。接下来利用数据增强技术将这一张标记后的图像拓展为一个2000多张图像的图像库作为计算机视觉模型（Mask R-CNN）的数据集。最后，机器视觉模型在利用上述数据集训练后将自动批量分析其余SPM图像并输出预测结果。

为了展现框架对分子识别的灵敏性，作者使用了在SPM图像中极为相似的两种三角形的分子作为研究测试体系。实验结果表明，该深度学习框架可以高效、准确地辨识出两种分子在SPM图像上的细微差别并以像素级精确度勾勒出分子轮廓。该框架为加速SPM图像分析、数据挖掘以及新材料的发现提供了一种新思路。