摘 要：利用机器视觉和深度学习技术，先对皮革表面进行高清图像实时采集，再分割其中的缺陷区域，最终根据皮革的利用率给每一张真皮定级。该项技术既可以用在蓝湿革、皮坯等中间状态产品的分级，也可以用在成品革的最终产品定级。同时，还攻克了瑕疵种类判定、瑕疵严重程度判别、真皮表面自动清洁、快速排版、无人分垛、自动辅助铺皮等系列技术难题，彻底实现全自动真皮检测分级，达到最终为制革及制鞋、沙发汽车座椅等皮革制品企业统一标准，减少人工的目的。

关键词：蓝湿革分级；瑕疵检测；深度学习；机器视觉；图像识别

前 言

皮革行业是我国轻工业中的重要行业，尽管目前很多新兴的超纤材料与真皮革的质地越来越接近，但是作为由畜牧行业的重要副产品（动物皮）加工而制成的具有特殊性能的皮革产品，永远有其稳定的市场需求。

近年来，随着国内人力成本持续递增，国家的环保要求也越来越严格，皮革制造行业面临着一轮重要的洗牌。十年前的皮革行业企业是小规模、作坊式的，如今其中的许多企业已经实现自动化、智能化、信息化。在市场容量基本保持不变的情况下，落后产能和低端竞争者逐渐出局，这就给头部企业带来了实现智能制造转型升级的难得机遇。这其中如何将现有的人工分选蓝湿革、成品革升级为全自动分级一直是行业内的关键痛点。

目前我国皮革行业企业的蓝湿革、成品革分级仍沿用人工分级，但是人工分级准确度抵、稳定性差、管理者无法监控结果、分级工人招工难等问题日趋显著。因此，在皮革行业“十四五”高质量发展规划中，皮革瑕疵检测与智能分级技术被列为需要重点突破的技术。

1 国内外研究现状

1.1 国外研究现状

目前国外有MindHive和Dvleather两家公司提供蓝皮自动分选设备解决方案，都是采用的工业高清摄像头获取皮革表面图像进而检测分级。其中新西兰人工智能公司MindHive与新西兰制革龙头企业Tasman合作，推出了ModelV智能蓝湿革分级系统。

意大利Dvleather公司也是一家致力于利用人工智能技术赋能皮革行业的公司，目前公司推出了第一款针对蓝湿革和白湿革自动分级的设备Hide Scanner，如图1所示。针对坯革检测Crust Scanner和成品革检测Leather Scanner的设备也正在研发当中。

图1 DvLeather自动检测分级系统

图 1 DvLeather 自动检测分级系统

在国外研究领域，2018年，Bong等在选用支持向量机算法对皮革缺陷进行分类训练并分类识别的研究中取得良好效果[1]。2019年，Jawahar等采用神经网络的方式对皮革表面瑕疵进行检测和分类，但是试验数据量偏小，正样本20张，负样本50张，暂时没有关于生产大批量产品的测试报道[2]。2020年，Mohammed等采用模糊C均值聚类算法（FCM）对蓝湿革表面缺陷进行检测分级[3]。

1.2 国内研究现状

国内很多高校和研究机构近3年围绕皮革表面缺陷检测这一难题也取得了一些研究成果。2019年，王德宇等将离轴LED曲面阵列照明光源应用于解决皮革瑕疵检测中成像质量不高的问题[4]。2020年，邓杰航等采用一种参数优化的残差网络，来实现皮革缺陷的自动分类，试验结果表明，该方法可对皮革缺陷进行有效分类，分类精度达到92.34%[5]。2021年，邵钰奕等利用鲁棒性主成成分分析(RPCA)对图像进行低秩稀疏分解，并采用效率较高的非精确增广拉格朗日乘子法(IALM)求解，从而显著提高算法检测皮革缺陷的准确性[6]。

2 皮革人工分级存在的问题分析

当前我国制革厂在皮革加工过程及成品革交付客户之前，鞋厂、沙发汽车座椅厂等皮革制品生产企业在皮革材料开料工序之前，都需要人工对蓝湿革、皮革的表面缺陷进行检测，将其中的缺陷区域区分出来以避免材料的浪费。图 2为制革厂工人正在对坯革进行分级（检测标记坯革缺陷，并计算坯革利用率）。

图 2 制革厂技术员正在对坯革进行分级检测

对蓝湿革、皮革进行人工分级是一项劳动强度很大的工种，对于检测员的视力、耐心都有很高的要求，这就导致了目前这个工种出现了用工荒的问题 ：新人招不到，老人还在不断流失。目前整个皮革产业链的上下游企业都迫切需要机器自动皮革检测来代替人工检测。

以下以目前制革企业水场车间人工分级中存在的几个问题为例，进行分析。

（1）准确性不高

皮革分级的目的在于规避瑕疵，计算一张皮革的实际利用率，即准确检测出瑕疵和计算利用率。据观察，皮革分级工人为了兼顾分级效率，一般检测一张皮的瑕疵耗时5~15 s，在这种工作强度下，分级准确性也就在60%~80%之间，而一旦准确性跌落到60%以下，分不分级结果都一样了。另外，人工没有办法准确计算利用率，对于可上可下，模棱两可的皮，自然会产生争议，而采用机器自动检测，皮革的利用率则可以用准确的数值来表示。

（2）稳定性下降

人工分级的稳定性不高，这一点行业内部都有共识。抛开心情、技能等级、光线变化等其他因素对工人的影响，单论劳动强度，人工分级的稳定性肯定是随着工作时间的延长而直线下降的。

（3）管理效率偏低

作为车间主管，目前尚无有效监控蓝湿革分级准确度的手段，因为人工分级没有数据流程，也就无法追溯。除非管理者把已经分好的皮革再一张张自己检查一遍，这显然是不可行的。

（4）缺乏可持续性

制革企业目前普遍面临用工荒的问题，且不论逐年增加的人力成本，单是工人的老龄化就是令企业经营者非常头痛的问题。很多制革企业蓝湿革车间的工人都是45岁以上的男性，5年之后这批工人的劳动能力将直线下降，而年轻一代根本不愿意从事这类劳动强度大、劳动环境差的工作。因此，需要企业经营者都提前做打算，以应对未来几年蓝湿革车间无人可用的困境。

3基于深度学习的蓝湿革检测分级技术

本研究所介绍的利用机器视觉和深度学习技术包括：先对蓝湿革表面进行高清图像实时采集，再识别其中的缺陷区域，最终根据蓝湿革的利用率对其进行定级。

3.1提高分级准确性和稳定性的解决方案

皮革机器检测分级从产业化角度主要分为以下几项关键技术。

3.1.1皮革表面纹理缺陷视觉检测技术

（1）采用均匀无影LED光源

为了替代人工检验员检测皮革的表面纹理缺陷，首先需要获取高清晰度的表面纹理图像，这直接决定了后面识别缺陷的准确性。皮革表面成像有其一定的特殊性，尤其是成品革表面往往做了打蜡和磨光的处理，普通相机拍摄出来的图像反光现象严重，根本无法用于识别检测。因此，采用均匀无影LED光源，确保从各个方向照射到皮革表面的光强度是一致的，这样就可以有效避免因为某一个方向反光而造成的图像过曝的情况。

（2）实现多台相机拍摄画面无缝拼接

皮革尤其是牛皮的宽度往往超过3 m，而皮革表面的最小瑕疵，如沙眼，往往只有0.2 mm。在这种既要兼顾大视野又要保证分辨率的应用场景下，本研究采用了将多台相机拍摄画面实时进行拼接的技术。首先对多台相机进行位置标定，以便实现相机采集的图像之间的无缝拼接，然后对每一个相机的亮度和色彩做归一化处理，以保证多台相机的成像效果均匀一致。

（3）采用同步扫描检测及金字塔降采样处理

皮革检测行业客户对于检测结果的时间节拍有比较苛刻的要求，因为这项参数直接关乎企业的产能。尤其是蓝湿革阶段，客户严格要求一张完整牛皮检测时间不能超过25 s。因此，本研究采用了并行同步扫描检测的策略，即一边扫描皮革图像一边检测。同时，由于完整牛皮的图像分辨率太大（30000×30000，9亿像素），本研究在检测算法上采用了金字塔降采样的方式来加快检测速度。

（4）应用全卷积网络深度学习技术

传统的图像处理算法进行缺陷检测时往往要求待检测目标与背景之间有非常明显的界限。而皮革、纺织等产品的缺陷检测与常规缺陷检测不同，自然生长的皮革本身就具有不同的纹理，比如不同产地的牛皮纹理粗细不同，同一张牛皮肩颈、脊背位置和腹肷位置的纹理也不同，在这些正常皮革纹理中间识别出皮革上的疤痕就是难点所在，因为皮革上的疤痕也是一种纹理。所以一般的图像处理算法无法解决皮革缺陷检测的问题，只有利用深度学习技术将大量的皮革正常纹理和缺陷纹理分别标注并训练，最终才能得到一个可以自动区分正常纹理和缺陷纹理的模型。本研究针对皮革缺陷检测采用了全卷积网络（FCN），通过对原始图像进行一系列卷积和池化处理，最后可以得到一个与原始图像分辨率一样的热力图，热力图由每一个像素的缺陷概率置信度组成，缺陷的概率越大，热力图的颜色越深。如图3所示。

图3 FCN 缺陷检测网络模型

3.1.2皮革缺陷种类识别技术

当皮革的缺陷从正常纹理中被检测分割出来后，一般的用户都需要对缺陷进行分类，即识别出检测到的缺陷属于哪个种类的缺陷。

皮革的缺陷种类很多，常见缺陷可以分为8类。根据后续工艺的不同有的缺陷是可以接受的，有的是不能接受的。用来做沙发的皮革，一般后续的工艺中会尽量地打磨皮革表面，这样一来，像肉疔、愈合划伤等缺陷都可以被打磨掉，所以用来做沙发的皮革这些缺陷是可以接受的，但如果是用来做鞋面革，这些缺陷就不能接受。因此检测时需要根据用途的不同，选择性地取舍不同种类的缺陷纹理。因此，采用常规的深度神经网络（DNN）模型对分离出来的模型进行分类识别，首先将皮革缺陷分为8类单独训练，再根据每一个待检测图像的概率分值，确认其种类。如图4所示。

图4 常见的8类皮革缺陷

3.1.3 皮革最优利用率在线评估技术

皮革最优利用率在线评估的最终目的在于优化切割方案，即通过合理地避让缺陷区域以最大限度利用皮革。再根据利用率的大小为皮革定级提供数字化依据。这种技术又叫自动排料技术，见图5。

图5 蓝湿革实时排料

目前来说，该技术已经比较成熟了，不过在制革行业，尤其是在蓝湿革分级的时候，客户要求必须要在25 s以内完成检测并给出排料结果，根据排料的利用率最终决定这张皮的等级，即20 s用于缺陷检测，5 s用于自动排料。这就对该项技术提出更高要求，因为目前市面上的商用软件对1张牛皮的排料时间都在20 s以上，如何压缩排料算法的迭代时间是一项非常有挑战的任务。

通过对用户工艺、工序的深入学习研究发现：蓝湿革的排料主要用于最后的定级，这和成品革的排料有本质的区别。成品革的排料就是用于后面的切割，所以能提高1%的利用率都是很大的提升，而蓝湿革分级则依据一定范围内的利用率测试结果，如利用率70%~71%的都属于同一个等级。因此，本研究采用牺牲一部分利用率的精确性来换取排料速度的策略。传统排料算法是在一张完整的皮革轮廓里面进行最优值迭代，而本研究的算法则是将皮革分为多个区域，通过并行的方式进行动态排料。

3.2 降低人工参与的解决方案

制革企业看重蓝湿革自动分级技术还有一个重要的原因在于，鞣制车间是整个制革加工工序中最不容易招到合格工人的工序。工作场所异味大、单张蓝湿革重量大、检查分级耗费视力等，导致很难招到年轻人。

本研究成功将AI机器视觉代替人工视觉，为企业降低人力成本的同时，解决了其招工难的问题。

根据制革企业蓝湿革加工工艺的差别，将该项技术的应用场景分为两类：非静置类和静置类。

非静置类应用场景指蓝湿革出鼓后即刻分级、挤水，然后分垛放置等工序。针对这类工序，直接将自动分级模块嫁接到挤水机上，如此设置可以直接去掉原有的分级工位，将分级工位和挤水工位合并，实现了每个工位节省4人的目的。

静置类应用场景指蓝湿革出鼓后即刻分级、码垛，静置一段时间后再挤水工序。针对这类工序，无法将分级工位与前后工序进行合并，即不能直接减少人工，但是本研究设计了自动接皮机构，如图6所示。通过该装置可以节省原来的2名接皮工人，而前端上皮的工人目前比较难通过自动化的方式来替代，但是可以进一步提高效率。

图6 自动分级接皮机构

目前的流程是蓝湿革出鼓后，由2名工人将出鼓的皮堆叠到斗车上，再由1名叉车驾驶员运送到验皮工位，最后由2名上皮的工人将斗车中的蓝湿革逐张捞出来，平铺在自动分级平台上。改进后的工艺是，通过空中的吊链系统，直接将出鼓的蓝湿革逐张吊转到验皮工位。如此，则由原来的5名工人减少为3名工人，节省人工2人。

3.3 提高分级管理效率的解决方案

人工分级完全依赖于技术工人的经验和工作状态，管理者一直没有高效的管理手段来追溯和管控皮革检测分级的效果。

目前多数制革企业管理者是根据过往产品不同等级占比的经验数据来考核员工，但是季节和原产地的变化又会导致过往的经验数据失效，同时等级占比经验数据反而有时会误导工人不敢根据自己的眼光做出正确的判断。因此，本研究引入了激光瞬时打标技术，为每一张皮革添加唯一的“数字身份证”编码，结合自动检测分级过程中获得的每一张原皮的高清图像数据，使得管理者可以根据“数字身份证”和历史数据轻松追溯每一张检测分级过的原皮。

这项技术有两个难点，一是“数字身份证”的产生方式，一般在皮革上做标记的方案有：烫印、钢印和激光打标这3种。前2种方式编码复杂程度有限，且不适合在蓝湿革状态下标记，考虑到蓝湿革一般会经过磨革、涂饰、压花等工艺，从而导致之前的标记消失，采用瞬时激光打标技术，能够在2 s以内完成12位以上的数字编码，同时灼烧深度能保证经过数次磨革、涂饰、压花工艺后，标记仍然清晰可见。第二个难点在于，如何动态在边沿部位打标。打标不能在皮革的主要部分，否则就人为降低了皮革的利用率。所以打标前先要识别出皮革边缘轮廓，如将打标区域定位在牛皮臀部边缘的位置，因为这样既不会影响皮革利用率，也不易被修边工修剪掉。同时考虑到皮革在打标时往往是在传送带上高速移动，这就要求打标系统附加随动功能，在与皮革保持相对静止的状态下进行打标。如图7所示。

图7 瞬时随动激光打标方案

4 应用案例

早在2017年，本研发团队就深入制革企业，并于2017年底推出第一款蓝湿革自动检测分选设备。该设备采用静态铺皮，高清摄像头动态扫描的方式获取真皮表面的高清图像。其优点是图像分辨率高，真皮表面瑕疵表现清晰，同时缺点也很显著，效率较低，检测1张完整牛蓝湿革需要45~60 s。见图8。

图8 第一代AI 蓝湿革自动检测分级系统

第二代改进AI蓝湿革自动检测分级系统是目前的主流机型，采用阵列式相机扫描方式，在保证图像高清分辨率的同时，大大提高了验皮效率，检测分级的耗时缩减到25 s以内。见图9。

将自动分级与挤水工艺有机整合，直接将图像采集模块嫁接到挤水机上，可以将两个连续的工艺步骤合并为一个，大大缩减了用工人数，这台设备适合于分级后可以直接挤水的汽车革加工。见图10。

图10 自动分级挤水一体整合设备

针对羊皮、猪皮等小开张皮革的自动分级模块， 如10平方尺以内的羊皮，检测分级耗时可以控制在11 s以内。见图11。

图11 羊皮自动分级模块

5结束语

随着本研发团队的持续技术攻关和成功案例的落地，困扰制革行业的难题——蓝湿革自动分级替代人工分级已经被攻克。该自动分级系统的蓝湿革分级结果与最有经验的技工的分级结果吻合率超过90%，与皮坯分级结果的准确率更是达到93%。后续将持续推进各企业之间蓝湿革、坯革分级标准的统一及蓝湿革出鼓、转运、堆叠方式操作规范的统一。

成品革的瑕疵检测是开料前的最后一道检测工序，容不得一点差错，否则会造成大量的材料浪费。成品革开料前的检测，往往需要将皮张绷展开来，以检测一些隐藏的暗伤；将皮翻过来，以检测背面的伤残；用手去触摸，以检测松面等伤残。因此，实现成品革瑕疵机器自动检测替代人工检测，不仅需要在图像处理的算法上取得突破，还需要在机构设计、运动控制、多角度拍摄方面取得创新性的突破，更关键的是成品革检测设备的设计还要兼顾效率和成本。如果一台成品革缺陷检测设备的检测效率对比人工没有显著提高，成本又大大超过人工检测，那么该技术就只能停留在研究阶段，无法被客户所接受。上述技术难题还有待于逐个攻破。

感谢兴业皮革、明新旭腾、森鹿皮革、隆丰皮草这些优秀的制革企业为本研究工作的顺利开展及应用方案的成功落地，提供大力配合、支持以及给予充分信任。

参考文献

[1] Bong H Q, Truong Q B, Nguyen H C, et al. Vision-based inspection system for leather surface defect detection and classification[C]. 2018 5th NAFOSTED Conference on Information and Computer Science (NICS). IEEE, 2018: 300-304.

[2] Jawahar M, Vani K. Machine vision inspection system for detection of leather surface defects[J]. Journal of the American Leather Chemists Association,2019,114(1):10-19.

[3] Mohammed K M C, Kumar S S, Prasad G. Optimized fuzzy c-means clustering methods for defect detection on leather surface[J]. Journal of Scientific and Industrial Research (JSIR), 2020,79(9):833-836.

[4] 王德宇,王雪琨,于文文,等. 面向皮革缺陷检测的离轴 LED 曲面阵列照明设计[J]. 激光与光电子学进展,2019,56(8):082202-1-7.

[5] 邓杰航,吴昌政,梁鸿津,等. 基于参数优化残差网络的皮革缺陷分类[J]. 科学技术与工程, 2020,20(8):3143-3148.

[6] 邵钰奕,沈金悦,卢瑶,等. 基于 RPCA 的皮革图像缺陷检测[J]. 计算技术与自动化,2021,40(4):97-101.