本申请涉及高光谱技术、以及计算机视觉技术领域，尤其涉及一种识别煤和煤矸石的方法及其识别装置，该方案主要用于识别煤流中的煤和煤矸石。
背景技术：
在成煤的过程中，煤形成的同时会产生一种含碳量较低的岩石，称之为煤矸石。煤矸石会影响成品煤的产品质量，因此如何将煤矸石从煤流中分离是一个煤矿企业需着力解决的问题。
技术实现要素：
本申请第一方面提供一种识别煤块和煤矸石的方法，包括：利用高光谱相机中的目标成像通道对煤流进行成像，得到煤流的高光谱图像，其中所述煤流中包括煤块和煤矸石，所述目标成像通道是根据煤块和煤矸石的光谱图像特征信息确定的；利用预先训练的目标检测模型对所述煤流的高光谱图像进行识别，得到煤块和/或煤矸石的位置信息，其中所述目标训练模型是通过对煤块和煤矸石的高光谱图像进行数据训练得到的。
具体的，在第一方面的一种可能的实现方式中，所述方法还包括：根据煤块的高光谱图像和煤矸石的高光谱图像，将高光谱相机中的部分成像通道确定为所述目标成像通道，一个成像通道对应一个波段。
具体的，在第一方面的一种可能的实现方式中，所述根据煤块的高光谱图像和煤矸石的高光谱图像，将高光谱相机中的部分成像通道确定为所述目标成像通道，包括：利用高光谱相机中全部的成像通道对煤块进行成像，得到所述煤块的高光谱图像；利用高光谱相机中全部的成像通道对煤矸石进行成像，得到所述煤矸石的高光谱图像；将所述煤块的高光谱图像，和所述煤矸石的高光谱图像进行比较，得到可以区分煤块和煤矸石的光谱图像特征信息；将高光谱相机中与上述可以区分煤块和煤矸石的光谱图像特征信息对应的成像通道确定为所述目标成像通道。
具体的，在第一方面的一种可能的实现方式中，所述方法还包括：利用计算机视觉算法对训练集进行数据训练得到所述目标检测模型，所述训练集为煤块和煤矸石在所述目标成像通道中成像后得到的高光谱图像集合。
可选的，在第一方面的一种可能的实现方式中，所述计算机视觉算法包括：目标检测算法和图像分割算法。
可选的，在第一方面的一种可能的实现方式中，所述方法还包括：利用标注软件工具对所述训练集进行标注。
可选的，在第一方面的一种可能的实现方式中，所述煤流的高光谱图像包括：原始的高光谱图像，或，处理后的高光谱图像，其中原始的高光谱图像是所述目标成像通道对煤流成像后直接输出的高光谱图像。
可选的，在第一方面的一种可能的实现方式中，所述方法还包括：
根据煤块和/或煤矸石的位置信息，执行分离操作，以分离煤块和煤矸石。
本申请第二方面提供一种识别装置，所述识别装置用于识别煤块和煤矸石，包括：成像模块，用于利用高光谱相机中的目标成像通道对煤流进行成像，得到煤流的高光谱图像，其中所述目标成像通道是根据煤块和煤矸石的光谱图像特征信息确定的；识别模块，用于利用预先训练的目标检测模型对所述煤流的高光谱图像进行识别，得到煤块和/或煤矸石的位置信息，其中所述目标检测模型是通过对煤块和煤矸石的高光谱图像进行数据训练得到的。
本申请第三方面提供一种电子设备，包括：
处理器和存储器，其中，所述存储器用于存储计算机操作指令；
所述处理器，用于通过调用所述计算机操作指令，以执行上述第一方面及其任意一种实现方式中所述的识别煤块和煤矸石的方法。
本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上第一方面及其任意一种实现方式中所述的方法。
本申请提供的技术方案可以实现以下有益效果：首先，由于煤块和煤矸石的成分不同，且不同成分对光谱的吸收不同，进而表现出不同的光谱特征信息，从而根据煤块和煤矸石的光谱图像特征信息确定的目标成像通道可以对煤块和煤矸石进行区分；其次，利用目标检测模型对煤流的高光谱图像进行识别，并且该目标检测模型是通过对煤块和煤矸石的高光谱图像进行数据训练得到的，使用大数据方式对煤块和煤矸石进行位置信息识别；因此，使用本申请中利用煤块和煤矸石两者表现出的光谱图像特征不同的特性，并结合大数据方式对煤块和煤矸石进行识别，可以有效的避免煤流环境下粉尘和水分等环境因素的影响，从而准确地对煤块和煤矸石进行识别，提高煤块和煤矸石分选的准确度，进一步提高煤块和煤矸石分选的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
下文中将结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1为本申请实施例示出的高光谱成像系统的一个实施例示意图；
图2为本申请实施例中示出的识别煤块和煤矸石的方法的一个实施例示意图；
图3为本申请实施例示出的煤矸分选工艺的一个流程示意图；
图4是本申请实施例中示出的识别装置的一个组成结构示意图；
图5是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本申请的描述中，煤块即是指煤，煤矸石也可以称之为矸石，使用煤块和煤矸石只是为了便于区分两者。
本申请实施例方案主要用于选煤车间中，对于煤矿的选煤车间来说，无论是井上的选煤厂，还是井下的选煤厂，其工作环境都会存在粉尘，而且在井下的话，煤流皮带上的煤块和矸石还会存在一定的湿度，即使我们通过除尘系统来减少粉尘的影响，但是煤和矸石上面的水分却很难通过烘干机快速烘干。采用传统的煤矸分选方式难以准确识别煤块和煤矸石，导致识别准确率低。
本申请实施例方案可以用于高光谱成像系统中，图1为本申请实施例中提供的一个示意图。如图1所示，高光谱成像系统包括：高光谱相机、两个卤素灯、计算机以及煤流传送系统，其中高光谱相机分别与两个卤素灯和计算机连接成一个整体并设置于煤流传送系统中运行皮带的上方，以便对煤块和煤矸石进行识别。上述煤流传送系统包括：煤块和煤矸石混合的煤流、电机、运行皮带。
下面结合图2对本申请实施例中识别煤块和煤矸石的方法进行详细描述。
图2为本申请实施例中示出的识别煤块和煤矸石的方法的一个实施例示意图。
参见图2，本申请实施例中识别煤块和煤矸石的方法，包括：
101、识别装置利用高光谱相机中的目标成像通道对煤流进行成像，得到煤流的高光谱图像，其中目标成像通道是根据煤块和煤矸石的光谱图像特征信息确定的。
应理解，上述煤流中包括煤块和煤矸石，可以是指含有煤块和煤矸石的混合物，在选煤车间中，煤流在煤流传送装置如传送带上被传送。
高光谱相机是通过高光谱技术，可在多达几百个成像通道上对目标进行成像的设备，一个成像通道对应一个波段；高光谱相机具有受物体表面水分影响小、并且体积小，便于安装调试，因此高光谱相机可以方便地运行于煤矿井之下或煤矿井之上。
本申请实施例中目标成像通道是根据煤块和煤矸石的光谱图像特征信息确定的，具体的，目标成像通道可以是基于上述依据从高光谱相机的几百个成像通道种选择的几个或十几个成像通道，容易理解，成像通道与波段之间是一一对应的，因此，本申请中目标成像通道可等同于被选定的波段，同样的，被选定的波段可以是目标成像通道对应的波段。
可选的，在一种实施例方式中，上述方法还包括：根据煤块的高光谱图像和煤矸石的高光谱图像，将高光谱相机中的部分成像通道确定为所述目标成像通道，一个成像通道对应一个波段。
可选的，在一种实施例方式中，上述目标成像通道的一种具体确定方式可以包括以下操作：步骤1，利用高光谱相机中全部的成像通道对煤块进行成像，得到煤块的高光谱图像；步骤2，利用高光谱相机中全部的成像通道对煤矸石进行成像，得到煤矸石的高光谱图像；步骤3，将煤块的高光谱图像，和煤矸石的高光谱图像进行比较，得到可以区分煤块和煤矸石的光谱图像特征信息；步骤4，将高光谱相机中与上述可以区分煤块和煤矸石的光谱图像特征信息对应的成像通道确定为目标成像通道。
在上述目标成像通道的确定方式中，将煤块的高光谱图像，和煤矸石的高光谱图像进行比较，得到可以区分煤块和煤矸石的光谱图像特征信息具体可以是通过数据分析软件对煤块的高光谱图像，和煤矸石的高光谱图像分析比较，得到可以区分煤块和煤矸石的光谱图像特征信息，并确定该光谱图像特征信息对应的成像通道为目标成像通道。由于不同成分对光谱的吸收不同，进而在高光谱相机成像时会表现出不同的图像特征信息，由于煤和煤矸石的成分不同，如煤的含碳量高于煤矸石等，在特定的波段内，煤和煤矸石会表现出不同的光谱图像特征信息，通过这些特定波段或目标成像通道便可以将煤和煤矸石进行区分。本文中的图像特征信息可以是高光谱相机成像后得到的光谱信息、和辐射信息等，下文中。
其中，示例性的，本申请实施例中的数据分析软件可以包括但不限于envi软件，envi英文全称为：theenvironmentforvisualizingimages，是美国ittvisualinformationsolutions公司的旗舰产品，是一套功能强大的遥感图像处理软件。
具体的，上述高光谱图像中包括：可以将煤和煤矸石区分开的图像特征信息。由于目标成像通道是可以区分开煤流中煤块和煤矸石的成像通道，因而在使用高光谱相机中的目标成像通道对煤流进行成像之后，煤流中的煤块和煤矸石各自不同的光谱图像特征信息将会呈现在成像后的图像中。
可选的，在一种实施方式中，本申请中高光谱图像可以是原始的高光谱图像，也可以是对原始的高光谱图像进行图像处理后得到的包括可以将煤和煤矸石区分开的图像特征信息的图像，其中，原始的高光谱图像是通过高光谱相机对煤流成像后直接输出的高光谱图像。容易理解，原始的高光谱图像与处理后的高光谱图像相比，使用处理后的高光谱图像在后续识别煤和煤矸石过程中，其识别准确性和识别效率均会有所提高。
102、识别装置利用预先训练的目标检测模型对煤流的高光谱图像进行识别，得到煤块和/或煤矸石的位置信息，其中目标检测模型是通过对煤块和煤矸石的高光谱图像进行数据训练得到的。
容易理解，根据不同应用场景的需要，识别装置可以只对煤块和煤矸石两者中其中一种的位置信息进行识别，也可以两者同时识别。例如，在选煤车间中，煤块需要在煤流传送带上继续传送至煤仓中，此时可以只识别煤矸石及其位置信息即可实现将煤矸石从煤流传送带上分离的目的。
具体的，在一种实施方式中，本申请实施例中还可以包括：识别装置利用计算机视觉算法训练集进行数据训练得到目标检测模型，训练集为煤块和煤矸石在目标成像通道中成像后得到的高光谱图像集合。在具体实施例中，训练集还可以使用标注工具软件进行标注。
在目标成像通道中成像后得到的高光谱图像集合之后，我们首先需要使用这些高光谱图像制作成训练集，来训练计算机视觉算法，以学习煤和矸石对应的不同的图像特征信息，待训练完成之后得到所需的目标检测模型，即可使用该目标检测模型对煤流的高光谱图像中的目标（煤块和/或煤矸石）进行分类和识别定位。
举例说明，以目标检测算法中的yolov3算法、标注工具为labelme软件为例。
首先，我们需要使用envi等数据分析软件辅助我们来从高光谱相机的所有成像通道（即几百个窄波段中）挑出可以将煤和煤矸石的特征进行区分开来的目标成像通道（即选定波段）；然后，我们只使用这些挑出来的目标成像通道来对煤和煤矸石进行成像。得到成像的结果之后，我们使用标注工具如labelme等软件来对图像中的目标进行标注，标注完成之后的数据就是我们的训练集，该训练集的标签即为图像上每一个目标的类别及坐标位置。然后使用yolov3算法来对训练集进行训练，训练完成之后，将得到一个目标检测模型（例如权重文件），有了这个目标检测模型之后，我们就可以实现对煤和煤矸石的识别，这是一个二分类的识别任务，即将检测到的目标划分为“煤”这个类别或者“煤矸石”这个类别，识别得到的结果即是该高光谱图像中目标（即煤和煤矸石）的类别与坐标位置。
需要说明的是，一般的目标识别算法的输入为rgb三通道，但是在这里可能需要使用十几个通道，一个通道对应一个波段，因此，在本申请中还需要对目标识别算法如yolov3算法的输入维度进行适当修改，以满足十几个输入通道需求。
可选的，在一种实施方式中，本申请中计算机视觉算法可以是目标检测算法或图像分割算法。
可选的，103、识别装置根据煤块和/或煤矸石的位置信息，执行分离操作，以分离煤块和煤矸石。
综上所述，本发明中综合使用了高光谱成像技术，计算机视觉算法，机械手臂定位和控制技术，实现了对煤和矸石进行分离的任务，整个操作无需人工干预，更加的智能快捷，对煤矸分选的需求具有重要的现实意义。
本申请实施例中，在不同的应用场景下，可以选择对煤块或煤矸石进行分离。其中，分离方法可以是通过机械手臂抓取或通过高压喷嘴分离等。
本申请实施例中，识别装置根据煤块和/或煤矸石的位置信息，执行分离操作，具体可以是：识别装置将煤块和/或煤矸石的位置信息发送至机械手臂控制系统或高压喷嘴控制系统，以使得机械手臂控制系统控制机械手臂分离煤和煤矸石，或高压喷嘴控制系统控制高压喷嘴喷水对煤和煤矸石进行分离。
本申请实施例中，首先，由于煤块和煤矸石的成分不同，且不同成分对光谱的吸收不同，进而表现出不同的光谱特征信息，从而根据煤块和煤矸石的光谱图像特征信息确定的目标成像通道可以对煤块和煤矸石进行区分；其次，利用目标检测模型对煤流的高光谱图像进行识别，并且该目标检测模型是通过对煤块和煤矸石的高光谱图像进行数据训练得到的，使用大数据方式对煤块和煤矸石进行位置信息识别；因此，使用本申请中利用煤块和煤矸石两者表现出的光谱图像特征不同的特性，并结合大数据方式对煤块和煤矸石进行识别，可以有效的避免煤流环境下粉尘和水分等环境因素的影响，从而准确地对煤块和煤矸石进行识别，提高煤块和煤矸石分选的准确度，进一步提高煤块和煤矸石分选的效率。
与前述应用功能实现方法实施例相对应，本申请还提供了一种识别装置、电子设备及相应的实施例。
图4是本申请实施例中示出的识别装置的一个组成结构示意图。
参见图4，本申请实施例中的识别装置200，该识别装置用于识别煤块和煤矸石，包括：
成像模块201和识别模块202；
其中，成像模块201用于利用高光谱相机中的目标成像通道对煤流进行成像，得到煤流的高光谱图像，其中目标成像通道是根据煤块和煤矸石的光谱图像特征信息确定的；识别模块202用于利用预先训练的目标检测模型对煤流的高光谱图像进行识别，得到煤块和/或煤矸石的位置信息，其中目标检测模型是通过对煤块和煤矸石的高光谱图像进行数据训练得到的。
具体的，在本申请实施例的一种实施方式中，识别装置200还包括：确定模块203，用于根据煤块的高光谱图像和煤矸石的高光谱图像，将高光谱相机中的部分成像通道确定为目标成像通道，一个成像通道对应一个波段。
具体的，在本申请实施例的一种实施方式中，确定模块203具体用于：利用高光谱相机中全部的成像通道对煤块进行成像，得到煤块的高光谱图像；利用高光谱相机中全部的成像通道对煤矸石进行成像，得到煤矸石的高光谱图像；将煤块的高光谱图像，和煤矸石的高光谱图像进行比较，得到可以区分煤块和煤矸石的光谱图像特征信息；将高光谱相机中与上述可以区分煤块和煤矸石的光谱图像特征信息对应的成像通道确定为目标成像通道。
可选的，在本申请实施例的一种实施方式中，识别装置200还包括：训练模块204，用于利用计算机视觉算法对训练集进行数据训练得到目标检测模型，训练集为煤块和煤矸石在目标成像通道中成像后得到的高光谱图像集合。
可选的，在本申请实施例的一种实施方式中，计算机视觉算法包括：目标检测算法或图像分割算法。
可选的，在本申请实施例的一种实施方式中，煤流的高光谱图像包括：原始的高光谱图像，或，处理后的高光谱图像，其中原始的高光谱图像是目标成像通道对煤流成像后直接输出的高光谱图像。
可选的，在本申请实施例的一种实施方式中，识别装置还包括：分离执行模块205，用于根据煤块和/或煤矸石的位置信息，执行分离操作，以分离煤块和煤矸石。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
参见图5，电子设备300包括存储器310和处理器320。
处理器320可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。