目录
1 文档图像智能分析技术
文档图像智能分析是指利用计算机视觉和机器学习技术对文档图像进行人工处理和分析的过程。 该技术可以将纸质文档、电子文档和图像转换为可编辑、可搜索和可索引的数字文档，并可以手动识别文档中的各种元素，如文本、图片、表格、图形等。
文件图像在日常生活中非常常见，例如财务文件、商业计划、技术规范、财务报表、会议纪要、法律合同、合同、简历、采购订单、发票等。 因此，智能文档图像处理的前景十分广阔，应用场景也将不断扩大。例如
事实上，随着人工智能技术的快速发展，智能文档图像处理将应用到医疗、教育、金融等众多领域，为各行各业提供越来越高效、智能的文档管理和数据分析解决方案。 .
2位大咖齐聚CCIG@2023
文档图像的智能分析和处理是一个重要且具有挑战性的研究问题。 难点在于文件的种类和复杂性：文件的种类和格式很多，包括报告、合同、发票、证书、证书等等。 不同类型的文件有不同的格式和布局。 例如，文档中往往包含图片、表格、图形等多种图像，无法统一处理。 而且，智能文档处理受图像质量、文本字体、文本大小、文本颜色等噪声因素的影响，容易出现误识别。据悉，目前还存在图像质量不一致、文档获取复杂等诸多问题.
为促进文件图像分析与处理领域的技术交流与发展，阐述文件图像处理与光学字符识别（OCR）相关前沿技术的进展与产业应用，2023年5月13日，文件图像分析与识别专业委员会与北京合合信息技术有限公司共同打造“文档图像智能分析与处理”峰会。 峰会邀请了中科院手工技术研究所、北京理工大学、中国科学技术大学的学术专家，以及华为等知名企业的研究人员围绕切割进行“头脑风暴” - 文档图像处理、OCR领域前沿技术，联合交流文档图像 分析处理前沿学术进展、典型行业大规模应用，解读未来技术和产业发展趋势。
3 议程介绍 3.1 从模式识别到类脑研究
我们知道，在模式识别和人工智能领域，有监督学习、半监督学习和无监督学习是三种不同的学习数据而不对数据集标签进行同情的学习方法。 目前无论是神经结构模拟还是学习行为模拟，都比较肤浅。 它主要基于监督学习来完成各种任务，即训练数据集中已经标注了正确答案或目标输出值。 在训练阶段，算法根据输入的特征与对应的目标值之间的关系进行学习，从而对未来的新数据做出准确的预测。 监督学习的示例包括分类和回归问题，例如图像分类、情感分析和价格预测。
生成模型是人工智能未来的发展趋势之一。 与判断模型的独特优势相比，它可以处理更多的任务，例如推动内容开发、视觉艺术创作、数字孪生、自动编程，甚至科学研究。 研究提供了 AI 视角、Al 直觉……
项目判断模型生成模型
特征
找到最优决策边界以反映不同模式下数据之间的差异
找到每个模式的边界，反映数据的整体统计轮廓和不同模式之间的相似性
连接
判断模型可以从生成模型推断出来，反之亦然
自然
后验概率建模
弹簧关节概率建模
例子
线性回归、回归、支持向量机、决策树、神经网络等。
贝叶斯网络、贝叶斯分类器、隐马尔可夫模型等。
表现
学习过程更简单，但不能体现数据本身的特征
模型信息量更大、更灵活，但学习过程更复杂
应用
图片文本分类、时间序列预测等
自然语言处理等
随着未来类脑和类人行为类脑智能研究的深入，人工智能的应用将不再局限于此类判断模型。 植物和人类展现出远远超越人工智能和机器学习系统的学习能力和对世界的理解。 一个中学生可以在大约 20 个小时的练习学校里驾驶汽车，小学生可以通过最少的交流学会语言交流，人类可以在他们以前从未遇到过的情况下行动。
相比之下，传统的判断模型需要比人类多几个数量级的试验来训练，这样才能在训练过程中涵盖最意想不到的情况。 这表明人脑的学习具有很强的灵活性，从小样本开始，不断适应环境。 这些习得的灵活性应该是未来机器学习的主要研究目标。 例如，LeCun 提出的新型自主智能架构最近获得了图灵奖。 最重要的一点是让机器了解世界是如何运转的，掌握广泛的现实知识，并以此为基础进行推理。
图源网络，入侵与删除 3.2 视觉-语言预训练模型演进与应用
2022 年 12 月 1 日，联合创始人 Sam 在 上宣布并邀请人们免费试用
图片来源网络，侵删
能以对话的方式与人类互动，能回答试探性的、连续的问题，承认答案中的错误，在人类提问时强调不正确的前提，拒绝回答不恰当的问题，其性能大大超过弱人工智能。 聪明的想象力。 其影响早已遍及各行各业。 基于GPT-3开发，具有强大的对话能力，理解语言语境，能够产生富有表现力和连贯性的回应。 所谓GPT，全称Pre-，本质上是一种基于GPT的语言模型。
语言是明确存在的东西，但大脑如何理解、转换和存储语言，是尚未被发现的东西。 因此，大脑理解语言的过程就是大脑将语言编码成可理解和可存储的方式的过程，这个过程称为语言编码。 相应地，在大脑中表达你想用语言表达的内容称为语言解码。在语言模型中，编码器和解码器都是通过将各个组件拼接在一起产生的
这些是什么？ 它是一种用于自然语言处理和其他序列到序列 (-to-) 任务的神经网络架构。 它由微软的研究人员于 2017 年提出，被认为是自然语言处理领域的重大突破。
基于注意力机制（ ），其核心思想是在序列中进行交互和捕获全局信息，而不是像前几年的循环神经网络（RNN）那样在序列中一个一个地处理信息。 通过多个自注意力层（Self-Layer）进行信息的交互和表示，每个自注意力层包含注意力机制的三部分：query、key和value）。
图片来源网络，侵删
具体来说，对于一个输入序列，将其转化为多个词向量（word），然后通过self-层提取特征。 在self-层中摩擦力的图像分析，query 通过估计它与所有key 的相似度来估计 score，并用这个score对sum 进行加权，最终得到每个位置的输出向量。 之后，这个输出向量被馈送到下一个自注意层或全连接层进行后续处理。
与传统的序列模型相比，优点是可以并行处理输入序列，从而加快模型的训练和推理。 据悉，它还可以有效地处理长序列，因为它可以一次处理整个序列，没有时间限制，不需要像RNN那样一个一个地处理。
然而，关于这种大规模的预训练模型仍然存在一些争议。 主要论点基于：
预训练模型和跨模态预训练模型的研究非常值得探索，在模型结构、训练策略、预训练任务设计等方面仍有很大潜力。 比如2021年10月发布的与相关的工作，从这个模型可以看出充满了野心。 希望对于下游任务，不需要任务相关的训练数据集，也不需要微调，零样本迁移直接基于。 这对于提高大型模型的训练效率和训练效果具有重要意义。
3.3 篡改文本图像的生成与测量
篡改文本检测（TTD，text）是多媒体信息安全领域一个新兴的研究方向。 汉字区的真伪。
[1] 王玉新, 张伯强, 谢洪涛, 等. 基于空域和信噪比建模的篡改文本图像检测[J]. 网络与信息安全学报, 2022, 8(03): 29-40.
篡改文本检测任务有两个主要挑战。
与传统文本检测任务相比，篡改文本检测任务需要进一步区分篡改文本和真实文本。 由于真实文本和伪造文本的分类难度不一致，网络在训练过程中很难平衡两种类型的学习过程，导致两种类型在测试过程中的测量精度差异较大。 上述挑战极大地限制了篡改文本测量方法的性能。 为此，如何准确捕捉局部纹理差异，同时平衡篡改难度和真实类别学习是当前篡改文本度量研究的一个重要方向。
CCIG峰会谢洪涛院长将介绍可在真实场景文本图像上训练的文本生成算法和基于平行空域感知和信噪比特征的篡改文本检测算法。 这些算法创新性地在篡改文本测量任务中引入卷积信息来改善篡改纹理特征，通过同时捕获空间域和串扰信息来提高网络区分局部纹理差异的能力。 该算法设计的全局时空关系模块提供了一种简单有效的方法来平衡篡改难度和真实类别学习。 通过对全局文本实例之间的空间卷积特征关系进行建模，利用其他文本实例的空间卷积信息。 帮助识别当前文本实例的真实性，帮助网络更好地平衡真实文本和篡改文本的学习难度，提高测量精度。
这里重点介绍一个非常新颖的全局空卷积关系模块。 想一想：如果单纯根据当前文本候选框的特征来识别纹理的真伪，由于缺乏对全局信息的感知，网络将很难平衡真实和真实的学习难度。篡改文本类别。 不同类别的测量精度差异较大，造成测量精度不平衡的问题。 全局空卷积关系模块是捕获全局信息辅助当前文本候选框的真伪识别摩擦力的图像分析，通过感知当前文本候选框与空卷积特征的相似度来平衡真实类别和篡改类别的学习难度。其他文本候选框。
算法选取最具代表性的方法EAST和ATRR进行性能比较。 实验结果表明，该算法可以解释真实文本和篡改文本的最新测量值。 与相同的两阶段检测算法相比，基于空卷积关系建模的篡改文本度量方法在真实文本和篡改文本的度量精度上取得了更好的效果，能够有效解决度量精度不平衡的问题，避免篡改- 网络对单个文本类进行精确检查。
事实上，本报告介绍的基于空卷积关系建模的篡改文本检测方法可以推广到其他篡改文本检测算法。 通过直接使用或简单地更改文本中的模块，可以显着提高篡改文本检测的准确性。 这为篡改文本检测技术的相关研究提供了新的方向和思路。 从事相关研究的朋友可以关注一下~
3.4 文档智能处理在行业中的应用与挑战
说到光学字符识别，大家可能会比较陌生，但应该或多或少听说过OCR。 一般来说，OCR技术是利用电子设备（如扫描仪或数码单反相机）检测复制在纸上的字符，然后利用字符识别方法将形状翻译成计算机文本。 随着技术的不断发展，OCR技术在行业中的应用也从最初的简单的光学字符识别扩展到包括图像预处理、文本识别、排版分析、文档理解等在内的智能文档处理领域。
但是，在实际的工业场景中，还存在很多问题和挑战。 例如，文档图像可能存在变形和弯曲。 这是因为单反硬件不满足透视中单反模型的眼睛无限小的理论假设，因此真实图像会形成明显的径向畸变——场景中的腰线在图像中呈现为曲线。 有两种类型的 ()： () 和 ()。 据悉，在单反组装过程中，镜头不能严格平行于成像面，会引入切向畸变（），而视觉文件图像的拍摄角度通常与文件平面不垂直，导致变形和文档图像的失真。
另一个例子是非常常见的图像波纹现象。 电子屏在单反拍摄时，显示器件的发光点阵与单反的传感器阵列发生混叠，形成摩尔纹现象。 屏幕图像摩尔纹表现为叠加在图像上的白色，具有可变的颜色和形状。 图像中的莫尔条纹在广泛的空间和时间域内与原始图像信号混合，一般覆盖整个图像。 云纹除了随图像不同而变化外，在同一幅图像中还会随着空间位置的变化而呈现出不同的色调和形状。 如果稍微改变拍摄距离或拍摄角度，云纹图案可能会大不相同。
此外，灯光效果、文件篡改检查、复杂文件图像的布局还原，以及各种复杂的场景都会导致文件识别和理解困难。 本报告主要介绍了依托和合信息自主研发的智能文字识别服务平台解决行业面临的各类问题的一些相关工作进展和研究成果，阐述了目前行业面临的一些关键技术困境和挑战。
欢迎对以上议程感兴趣者参加本次CCIG峰会，观看入口如下
4观看入口及话题
呵呵资讯视频第13期将于晚上13:30直播，感兴趣的朋友欢迎交流
问题
时间议程发言人
13:30-14:10
《人工智能大模型时代的文档识别与理解》
中国科学院手工技术研究所副所长 刘成林
14:10-14:45
《视觉-语言预训练模型与迁移学习技术》
上海大学邹月贤院长
14:45-15:20
《篡改文本图像的生成与测量》
中国科学院院长谢洪涛
15:20-15:30
自助餐
15:35-16:00
《华为云OCR技术进步与行业实践》
廖明辉，华为云AI算法研究员
16:00-16:25
《智能文档处理技术在行业中的应用与挑战》
和合信息中级工程师 丁凯
16:30-17:30
圆桌讨论
金莲文、刘成林、邹月燮、谢洪涛、廖明辉、丁凯