工程图纸矢量化发展现状报告PPT课件.pptx

工程图纸识别技术研究发展状况汇报 1 2020 3 18 报告内容 研究意义发展现状基本技术问题现有技术手段未来可能的着力点 2 2020 3 18 研究意义 工程图是工程技术人员描述设计的对象 表达设计思想的主要工具 现有的工程图纸是长期以来人类智慧和劳动成果的结晶 据国际数据与文档管理杂志估计 在全世界现有的80亿张工程图纸中 超过85 以上是人工绘制的 但是 现在工程图纸绘制的技术主要是使用计算机来进行绘制 使用CAD技术 3 2020 3 18 在大多数领域 成功使用过的工程图纸就是一种宝贵的技术储备资源 除了应用于当时工程的指导 也是以后对产品进行再设计 维护 以及对于提高产品设计质量 降低设计成本及缩短产品设计周期具有不可估量的作用 CAD技术可以极大地提高图纸的生产和使用效率 当我们想像使用CAD技术那样来高效地利用以前的手绘图纸时 这中间需要一个转化技术 以及一些更加智能的帮助 1 4 2020 3 18 发展现状 从80年代中期起 很多工业发达国家就开始着手图纸输入这一工作 起初方法是应用某种CAD系统通过人机交互重画一遍所有的蓝图 这样可以使得图面美观统一 尺寸比例准确 但是这种方法效率很低 绘制价格昂贵 工作既繁琐又枯燥无味 造成人力物力资源的浪费 5 2020 3 18 近若干年来 CAD技术在工程设计领域得到普及性应用 从而使工程图纸矢量化技术的研究进入高潮 目前国外己经出现了一些商品化的矢量化软件 比较著名的有德国Softelec公司的VPStudio VPRasterPro Able公司的R2V 挪威Rasterex公司的RxAutolmagePro2000 华中科技大学的EDIS软件 清华大学的ANNO等 这些软件在一定程度上可以进行图纸的矢量化 但是它们通常都是针对某种专业图纸 如机械图纸 电子图纸或地图等 而且矢量化的准确率也不是很高 例如对于交叉点多而复杂的图纸 软件自动跟踪时可能会出现错误走向 6 2020 3 18 基本问题 图像获取与处理图纸图像的矢量化基本图元和文字符号的识别工程图形的2D理解面向工程图形的二维重建 7 2020 3 18 工程图纸识别的基本过程 8 2020 3 18 图像的获取与预处理 由于工程图纸一般较大 所以大多数情况下使用扫描仪扫描工程图纸 最后将位图格式的文件保存到计算机中 图像预处理的质量直接影响到后续工作 但在这个领域 技术相对成熟 根据工程图纸的特性主要用到的图像处理技术是消蓝处理 滤色 图像去噪 边缘提取 9 2020 3 18 由于工程图纸在存放的过程中容易产生褶皱等损坏 图纸上难免会出现一些非绘制的图像元素 使用高斯滤波 中值滤波 以及数学形态学的方法都可以在一定程度上消除噪声 改善图像质量 由于工程图纸的特性 在矢量化之前 经过边缘提取处理的图像最接近于矢量图 也最容易进行矢量化处理 这里实用的方法主要有Canny Sobel 数学形态学 频域变换 傅里叶 小波等 等方法进行处理 2 10 2020 3 18 图纸图像的矢量化 3 基于细化的矢量化方法基于轮廓匹配的矢量化方法基于邻接图的矢量化方法正交方向搜索法 11 2020 3 18 智能算法在控制工程领域中有比较成功的应用如模糊控制 遗传算法 人工神经网络等 表现出非常好的鲁棒性 自适应性以及灵活的可扩展性 在矢量化的过程中可以处理较复杂的情况 模拟人工读图的的方式来进行矢量化的过程可以使机器具备一些 常识 先从整体上把握图纸的宏观特征然后由粗到细由拓扑结构到具体线型准确有效地把握图纸中各类线型之间的相互关系直接从图像中提取出各类图元 4 12 2020 3 18 图文分离技术 图形虽然是工程图纸中最为重要的信息 但是如果缺少了一些必要的文字描述 工程图也将变成不可理解的图像 也无法用于工程指导 这其中主要有图源 图纸类型标注 作者 尺寸标注 材料标注等 这些文字描述 对于快速使用工程图纸进行生产 修改 产品维护 查询等起着至关重要的作用 工程图纸自动化识别中有必要使用OCT技术将工程图标的信息提取出来 5 13 2020 3 18 工程图形2D重建 图形经矢量化处理后 图素的尺寸和图素间的拓扑关系都会产生一定误差 为了使识别结果与各种CAD软件绘制图形的效果相近 提出对矢量图实施 二维重构 包括两部分 6 14 2020 3 18 工程图纸二维重建的前提是基本图形元素的识别 基本可以分为两大类 7 8 9 10 基于统计的方法和基于知识表示的方法 大多数基于统计的识别方法 图形对象的特性是被事先定义的 然后设计一个使用边界判定的分类器来进行空间特性的决策 最典型的是模版匹配方法 基于知识的识别方法 是将图形对象表示为一些知识 比如规则或语法 依此来对图形对象识别 对具代表性的是知识结构表示与推理和知识语法的方法 15 2020 3 18 图素的拓扑类型 直线图素与其他类型的拓扑关系圆弧图素与其他类型的拓扑关系根据现有的两大类识别方法 以及工程图纸本身拓扑关系约束的特点 统计类识别方法较适合用于数目多 结构简单的工程图识别 知识表示方法 由于知识推理方便 易于表达拓扑约束关系 在图形对象多而复杂的情况下较适合 16 2020 3 18 图形拓扑关系表示的中不乏有各种新意的表示方法 但是使用最多也是最有效的表示方式就是使用图 工程图纸本身就是一张图 而且图纸当中很多的图形基元或整体相对于基本图元 直线 圆弧 圆 工程标注符号 就类似于一张有着很强拓扑关系的图 所以用图来表示工程图纸中的基本图元是目前最流行的表示方法 而且在CAD绘图中 基本的绘制操作 除了图元的修改 都非常类似于对图这种数据结构的操作 17 2020 3 18 将工程图中的每个图素作为 图 的顶点 两个顶点之间的关系可用弧来表示 屠苏见的拓扑关系用权值来表示 将其数值化 根据事先定义的图素间关系来选择有向图或无向图 图的储存一般使用邻接表 6 18 2020 3 18 图素的拓扑关系表示模型是一种动态表示模型 一般对该模型进行如下操作 6 添加结点 图素增加 添加结点 并添加该节点所对应的关系 删除结点 图素被删除 减少结点 并在与其有拓扑关系的表中删除该结点 查询 在带权图的中找到该图素对应的结点 并提取该节点对应的邻接表 结点拓扑关系修改 当拓扑关系变动时 对图素结点的邻接表重写 及向与改图素有拓扑关系的其他图素的邻接表中添加该图素结点 19 2020 3 18 拓扑校正处理 有了前面拓扑关系的正确表示 依据识别结果 对图形对象进行矫正 6 主要方法有 20 2020 3 18 尺寸校正处理 6 这一阶段的前提也是正确识别尺寸标注线 在工程图纸中的尺寸有各种类型 如水平尺寸 斜向尺寸 直径尺寸 角度尺寸 尺寸标注的结构相对简单 都是矢量箭头和表示尺寸的字符组成 同时很多情况下 尺寸标注 尤其是长度的表示 有很强的层次关系 所以可以采用树类数据结构来保存 每个方向的尺寸可以构成一颗树 所有方向的树可以构成森林 从而解决不同视图间尺寸表达一致的的问题 21 2020 3 18 树的根节点为与根节点相连的叶子节点的尺寸基准 树的每个节点都以他的父节点的一个尺寸界线作为它的基准 校正时 都是以基准所在的一段为固定端 而一零一段为活动端 保持固定端不动 校正活动端到相应的位置 其中主要过程有生成尺寸树 确定约束域 定义约束属关系 图形元素及尺寸标注的精确位置校正 22 2020 3 18 相关工作1 11 来自印度的学者SekharMandal采用了比较系统的图像处理方法来进行工程图纸的重建 具体流程如下 1 使用OCR类软件将图中所有字符探测出 进行图文分离工作 2 使用Canny边缘提取算法 将光栅图中所有的轮廓表示出来 二值化处理之后就将整幅图的骨架细化出来 23 2020 3 18 3 采用数学形态学中的开启运算来提取特定方向的的图形元素 采用1 4的结构元素来提取水平线段 4 1的结构元素来提取垂直线段用原图将提取出来的两幅图减掉 就可以得到其他任意方向上的线段和弧线 4 采用链式码 行程编码 的方式将图中的所有点阵图表示出来 使用和弦特性将图中所有的直线判断出而且所有的弧线被当成是多个小线段组成 记录线段的拐点 提取后的水平线段 提取后的垂直线段 24 2020 3 18 5 利用链式码信息来构建矢量格式图 然后 根据两线段之间相间距离的关系来判断两条直线是否属于原来同一直线的两条边缘 设定阈值进行判断如果两条直线满足阈值限定 就将两条线段间的部分进行填充 从而进行矢量图的重建 重构图形的阈值化判定过程以及重构线宽信息 25 2020 3 18 相关工作2 1 7 8 9 识别领域比较有代表性的工作就是香港城市大学 刘文印使用基于知识表示的识别方法 首先 在预处理阶段 使用开源软件Res2Vec进行矢量化 然后使用阈值去噪的方法清除被判断为噪声的小短线 其次 定义了四种拓扑关系 分别为直线的相交 平行 垂直 不相交 以及弧线与直线 分别都有精确量化了的参数来表示 26 2020 3 18 再次 提出了一种属性树的知识表示方法 同时 提出了KAA KnowledgeAcquisitionAlgorithm 用于知识提取与表示和KGRA KnowledgeGraphRecognitionAlgorithm 用于知识推理与识别 KAA的基本流程如下 27 2020 3 18 KAA算法描述 输入 组成图形对象的向量集 用户提供的示例 输出 图形化知识 一颗储存着每两个结点间的几何约束关系和访问顺序的树 流程 1 提取所有的相交几何约束关系同时构造属性树G V E 2 如果G是连通的 转到第6步 3 将G分割成G1 G2 G3 Gn颗连通的子树 4 搜寻节点间可以将字数连接起来的平行和垂直关系 5 如果上述关系找到了就将它们加入G 同时转到第2步 否则停止 F 6 加入弧线和圆的拓扑关系到图中 7 在G的基础上构造生成树ST 用广度优先的原则遍历ST 获取约束顺序K c1 c2 cn 8 停止 S 同时将G和K作为这种对象的知识储存到知识库中 28 2020 3 18 由于在识别过程中不可能将向量和已有的知识表示100 的匹配 所以定义了关于直线和直线 弧线和弧线以及由直线构成的类弧线之间的相似因子的定义 KGRA算法描述如下 输入 SV 向量集 构成待识别对象的向量集 KD 知识库TL 阈值集 其中包含了长度和数量的容忍范围变量 CT 识别过程中临时构造的的树SM 标识集 用来标识识别过程中被使用过的向量 输出 RR 识别结果 用SV来表示的图形对象的类型 29 2020 3 18 算法过程 1 从KD当中选择知识树K 如果所有的知识都已经试验过就停止 F 2 清空CT 初始化SM3 从SV中选择下一个向量V 要求这个V实在没有在SM中被标注的 加入V到CT中作为根 同时 将V在SM中标注 表示V已经在识别过程中使用过了 4 从遍历顺序K中选择下一条边E 如果所有的边已经被访问过了 而且冗余向量的个数没有超过容忍限度 就停止 S 同时将RR标示为由当前K来指示的对象类型5 否则 将V标记为以E为边的父节点 使用V和E来计算V 6 搜寻V 在空间上沿着两个方向搜寻 使用TL中的容忍限度来检测在SV中与V 相似的向量 7 如果V 找到了 就将它设为CT中V的子节点 在SM中将V 标记为已使用过 同时转到第4步8 如果没有找到V 而且向量的缺损数量超过了容忍的范围 就转到第1步 否则转到第4步 30 2020 3 18 由于目前完全由计算机进行识别还不能达到较高的精度和理想的理解结果 往往在经过一些几何变换 尺寸 方向 图层交叠等 之后 就不能得出很好地识别结果 这时需要用户交互的来审查正确 错误 遗漏这样的识别结果 给出新的指导来引导知识库的更新 知识库的更新 最直接的体现就是对其中阈值库 或容忍库 中关于长度 角度 向量个数的阈值范围进行动态的调整 在用户给与反馈之后系统将根据 正确识别保持原有阈值 遗漏识别更新阈值 错误识别被忽略掉的原则进行阈值调整 这样就是整个系统形成一个闭环反馈来提高系统性能 31 2020 3 18 相关工作2 2 10 清华大学的 郭田田 在刘文印工作的基础上进行了进一步的发展 16 主要创新点如下 1 把注释作为一种新的基本图素 由此主要图素分为三大类 直线 弧线和文本 并且由此定义了五种拓扑关系 直线相交 直线平行 直线与圆弧 直线与文本 圆弧与文本 2 在知识提取和识别的阶段都设置了优先级 优先级概念的引入提高了知识提取和识别的效率 在知识提取阶段 按照统计数据显示 按照直线相交 直线平行 直线与圆弧 直线与文本 圆弧与文本这样由高到低的优先级来提取拓扑关系 这样可以节约大量的计算时间 知识提取过程与刘文印相似 32 2020 3 18 识别的过程中 基本思路和刘文印非常相似 但是应用了优先级的概念 可以提高识别效率 作者认为 一个图形对象如果特征越明显 由于其差别大 所以在统计上的特性就是分布的比较少 所以在识别阶段 搜寻基本图素的优先级就由统计分布特性少到多 优先级由高到低 这样 首先开始搜寻特征明显的部分 如果在没有用到优先级最低的一级就可以将目标识别出来 就可以节省大量的计算时间 同时也在一定程度上降低了搜寻目标时的复杂度 在本文中识别过程的优先级正好和知识提取阶段相反 文本与圆弧 文本与直线 弧线与直线 直线平行 直线相交的顺序又高到低进行探测 33 2020 3 18 3 重复模式的预处理在工程师绘图的过程中 在规范允许的范围内 不用的绘图工程师可能会有不同的绘制风格 相同的事物在人看来被归为一类 而对于对一切认知事物都精确表示的机器来说就被归到不同的分类 例如 以上两幅图都代表楼梯 但是由于在楼梯的表示中平行的线条树木不一样 在机器看来就是分为两类 由此我们可以想到 重复模式的表示尽管符合规范 但是会导致大量识别结果的冗余分类 所以作者将重复模式处理为实际关系块 在实际关系块的处理中 只保留第一个和最后一个图素的拓扑关系 来代表所包含的块中的表现形式 从而使识别过程具有一定的智能性 34 2020 3 18 相关工作3 12 13 南京大学 路通 使用约束网络来进行识别 其主要特色有 1 使用了更加精确地特征表示方法 初步的有定义了CGF CommonGraphicsFeature 其中有基本图素 属性 关系 优先级 阈值范围这5个属性来描述一个图形对象 为了提高识别效果和体现出大类与小类的层次关系 在CGF的基础之上定义了定义了静态特性 其中包括 积极特性 消极特性 辅助特性和关系 前三个特性都是CGF集 关系描述的就是这三个集中两两之间的关系 作者同样采用了优先级策略来对识别匹配过程中的候选特性进行排序 表示为文本 圆 弧 直线这样由高到低的优先级 2 用户初始化系统阶段对将要识别的工程图设定领域知识背景 在作者看来 由于规范不同没有一种规则是所有工程图纸之间共有的 所以指定领域知识可以将识别率提高 35 2020 3 18 3 表述拓扑关系时 作者使用字符号表示 其间可以使用 等计算机运算符号进行连接 这样 规则都是以字符串的型式表现的 到了识别的时候 就会转化称约束网络 进行逐步的测试约束网络中每个节点都是根据约束条件建立的测试函数 每个节点得到的测试结果是一个布尔值 4 建立一个指明领域的规则库 规则库在识别的过程中动态的调整规则构成 规则候选排序 自动阈值调节 而且 将人机互动的调整 和机器自动识别结果的调整分别对待 5 将文字的语义理解结果和图形对象的识别过程融合起来 使之成为同时进行的互动指导过程 而不是简单地进行图文分离和图形识别这样顺序且分离的过程 36 2020 3 18 现存问题 3 4 缺乏对工程图建立完整意义的信息表示方法 表达能力不是足够的强 工程图进行理解的针对性强的领域知识还不能给予准确地表示 对工程图进行理解的实施表达方法能力还不是非常强 缺乏对工程图进行深层次理解的有效的实现方法 只能处理单张图纸内容 37 2020 3 18 未来展望 提高图像预处理质量 采用更加有效的去噪 重建和图像分割算法 从而提高矢量化的结果 减少重建时的难度 使用一种评价机制 减少误校正发生 提高知识表示能力 发展专用性更强的图形理解知识系统 加强专业领域知识指导知识表示和推理 提高机器学习能力和图形对象的识别能力 图像重建时 可以将同一系列不同张图纸之间建立联系 从而进行成套产品重建 38 2020 3 18 参考文献 1 工程图纸矢量化的研究与实现 上海海运学院硕士论文 2004 2 数字图像的边缘检测 陈启祥 2006 3 工程图纸矢量化方法研究 丁伟东 2006 4 工程图纸识别与理解的研究现状分析 董玉德 2006 5 AStudyonInformationExtractionMethodofEngineeringDrawingTables RizaSulaiman Malaysia 20126 基于质量评价的矢量化工程图后处理技术研究 西北工业大学博士学位论文 2004 7 EngineeringDrawingsRecognitionUsingaCase basedApproach Wenyi