《基于IIIF标准和智能体技术的书画研究创新范式》

基于IIIF标准和智能体技术的书画研究创新范式2.每日分享：6+份行研精选、3个行业主题3.报告查找：群里直接咨询，免费协助查找4.严禁广告：仅限行业报告交流，禁止一切无关信息一、作品概述四、技术方案（一）“今秘阁”书画智能体（一）数据处理二、解决的主要问题五、创新点三、应用示例六、潜在价值（一）使用指南七、参赛感想AI解读《秋窗读易图》⚘作品概述：“今秘阁”书画智能体AI解读《秋窗读易图》宋代秘阁：宋代秘阁：以自然语言交互为核心，基于IIIF国际标准的图像数据库，深度整合全球书画古籍资源和相关专业知识，提供问答解析、动态导览、版本对比、OCR识别和图文生成等功能，即时回应关于创作背景、画家生平、艺术风格提供图文并茂的动态讲解和指尖上的沉浸式体验。既为学术研究者提供便捷的书画图像分析工具，也助大众降低鉴赏门槛，感悟中国艺术精神。访问地址：https://37b5k38133.vicp.fun/ag/index.html“今秘阁”的涵义：凭借数智时代的海量数据和技术优势，以IIIF标准汇集整理全球书画资源，构建一个契合当今时代潮流、满足大众文艺需求的书画收集、交流与鉴赏空间。参考文献：塚本麿充.蔡家丘译.宋代三馆秘阁的机能：书画、文物交流，/a/328086759_562249/?pvid=000115_3w_a⚘作品概述：IIIF标准与书画数据整合IIIF于2015年由欧洲和美国的图书馆等29个非营利图像资源存储机构共同成立，对以图像为载体的书统一展示和共享。IIIF于2015年由欧洲和美国的图书馆等29个非营利图像资源存储机构共同成立，对以图像为载体的书统一展示和共享。国际上主要的文化遗产研究机构都采用了IIIF对其图像进行管理和共享。IIIF解决了文化资源数字化图像难以被发现、再利用、引用、交换、比较分析等问题，为确保全球图像存储的互操作性和可获取性提供了国际化通用标准。IIIF提供了高效可持续管理、分享以及利用数字图像的创新型数字技术标准，可以通过统一的数据框架实现全球书画图像资源的聚合⚘解决的主要问题古代书画目录知识基础/知识基础/背景调研其他相关文献书画版本统计文献搜集与整理影像资源获取物质载体研究图文实证研究艺术本体分析图文实证研究……依赖于人工搜集、整理和统计实物与文献分离，导致查阅困难智能体提供包括作家、作品、时代等相关知识的综合解答自动汇集各版本实现同框对比基于IIIF标准建立书画数据库自动汇集各版本实现同框对比图文交互背景下，提供工具便利图文交互背景下，提供工具便利OCR识别文字，快速提取书画题跋深度对话探讨，开启交互体验拓展图像修复、生成功能驱动智能体进行阅读准备和资源聚合图文交互形式下展开深度挖掘⚘应用示例：使用指南【问答栏】【功能栏】【图像展示窗口】放大/缩小/旋转/下一页（针对多页画册而言）……左侧输入【图像操作指令】右侧【Mirador窗口】呈现对应效果⚘应用示例：功能演示0302版本信息01IIIF标准书画数据库02版本信息01IIIF标准书画数据库*基于IIIF（国际互操作框架）建立书画数据库Θ任意检索书画作品，自动统计版本信息*图文并茂介绍书画，同步展示全貌或局部不停留于书画文物的静态保存→提供自由操作的图像界面→被机器理解，与世界对话⚘应用示例：功能演示根据文字标注，提供动态书画导览（gif）图文同步输出，免去页面切换烦恼⚘应用示例：功能演示从孤立图像走向可被机器“阅读”的知识体*支持用户以自然语言提问，看图说话，Θ以图文问答的互动探索，替代单一的读文或读图模式创作背景*关联古籍知识，深度发掘，即时生成专业解答创作背景画家介绍画家介绍艺术风格知识艺术风格题跋印章版本流传题跋印章版本流传⚘应用示例：功能演示同框呈现作品各个版本，彰显细节差异分析同题画作异同，鉴赏多元艺术风格用笔印章同框呈现作品各个版本，彰显细节差异分析同题画作异同，鉴赏多元艺术风格OCR识别《洛神赋》书法作品并赏析⚘应用示例：功能演示OCR识别《芥子园画传》并翻译（视频演示）基于IIIF的书画智能体，相比现有的OCR技术实现工具，能带来什么创新？Θ古籍数字化整理工作对图文复合类文献的回避籍合网-明代集部文献数据库（识别的多为古籍刻本，未见插图本）·目前古籍整理过程中，未能实现图像与文本的多模态互动·如书画图像上的题跋这类特殊文献，还未进入古籍OCR识别范围内Θ书画文献与作品实物（图像）的离散现象·读艺术文献而不见书画图像·书画上的题跋文字，除已被辑录的部分外，还未与书画作品建立起较清晰的映射关系⚘应用示例：功能演示数字化修复（增强清晰度&补全残缺等）*使用指引：需先在提问栏输入“图文生成：”（生成时参考的输入图像为当前窗口局部。）数字化修复（增强清晰度&补全残缺等）更改画作底色，突出笔墨线条实现对书画图像的数字化修复，助力文化遗产保护⚘应用示例：功能演示基于《仕女图》生成多角度示意图立体呈现古代仕女服饰样貌活化中华经典文化《洛神赋图》服饰研究学者所绘线稿“今秘阁”书画智能体《洛神赋图》服饰研究学者所绘线稿图文生成功能绘制的线稿为艺术研究者提供学术制图便利，降低美术技能门槛⚘技术方案：数据处理数据使用情况：◎上海图书馆其它基础知识库（藏印知识库等）◎中国历代人物传记资料库书画作品来源：北京故宫博物院、台北故宫博物馆、辽宁省博物馆、美国弗利尔美术馆、美国哈佛著录【朝代】【画家中英文姓名】【作品中英文名称】【注释】【版本】【风格】【藏地】【尺寸】【设色】【形制】【类别】等信息元数据收集元数据收集图像精细化标注⚘技术方案：智能体架构今秘阁书画智能体通过语言、OCR、图文生成、数据库查询等功能模块，实现大语言模型与IIIF浏览器的双向感知，提供可操作的图像界所谓自治规划是指智能体能够分解复杂 任务并按步完成，比如古画导览中的任 务自动分解：画面分段-》局部聚焦-》局部解说-》……-》解说完成这一能力的基础是语言模型的聊天界面对于传统应用程序的整合，即：•在聊天界面中实现图像互操作10月7日SamAltman在旧金山OpenAI开发者大会上提出的将C与大语言模型深度整合的IIIF浏览器，彻底释放了模型的多模态能力，使得图像任务的自治规划得到充分发挥⚘⚘创新点建立中国古代书画图像数据整理规范，推进艺术资源聚合促进传统文博导览方促进传统文博导览方式革新，提供动态游览、智能交互选择04凭借IIIF国际统一标准的优势，04凭借IIIF国际统一标准的优势，实现书画图像资源的自由流动自由查看图像整体或局部，动态讲解和问答打造沉浸式交互体验02020103从单一读图或读文0103从单一读图或读文动的多模态探索标注等需求，创新古代书画研究范式智能查询书画数据，智能查询书画数据，同屏展示图文，OCR识别和图像问答助力书画理解与阅读对比版本差异，实现图像修复与再生成我们不只是“保存传统”，而是在让传统重新“参与当下”；我们不只是“展示过去”，而是在用智能化方式，让文化继续生长。⚘潜在价值假如置身《洛神赋图》前，你会如何“观看”它？你也会好奇，拂过历史的烟云，曾经的古人如何欣赏一幅书画作品吗？rr一《洛神赋图》是怎么来的，《洛神赋》与这幅画有何关联？顾恺 之的绘画有何特点？书法是好是坏？太阳里面为什么有乌鸦？书法是好是坏？太阳里面为什么有乌鸦？她手里拿着什么？ ·什么是“翩若惊她手里拿着什么？ ·什么是“翩若惊这状如柳树的植物在画中可有深意？也许，是一个晓风和畅的晴日，在西园的荷塘香榭，煮一壶茶，点一炉香，三五好友相聚。小心翼翼地褪下锦套，徐徐展开泛黄的手卷，墨痕在柔和的光影里缓缓苏醒。“气韵”“笔墨”“骨法用笔”“经营位置”……一些并不陌生的词汇在口、笔相传中永恒。梳理传移模写脉络，推进书画版本研究梳理传移模写脉络，推进书画版本研究探索AI图像理解能力边界推进跨学科视野下的题画文学研究从古代文人的高雅趣味到全民参与的“文博热”从袅袅檀香中的零星残卷到卷帙浩繁的数字资源从题跋画记的文学互动到口授心传的博物讲解当诗书画印一体的古代语境，迎来数智时代的技术冲击，面对专业知识壁垒和庞杂的书画资源，今天的我们如何理解和传承千年笔墨中的中国艺术精神？*帮助大众跨越欣赏古代书画可能面临的知识沟壑（书画理论、名物考证、装裱版式、书法题跋、印章篆刻……）*线上提供动态智能导览，实现指尖“卧游”书画天地；线下作为数字化创新形式，辅助文物展览，打造个性化交互体验。例如：礼教视野下的《洛神赋图》借助“今秘阁”同框展示《洛神赋图》的六个版本：【1】故宫博物院藏甲本《洛神赋图》【借助“今秘阁”同框展示《洛神赋图》的六个版本：【1】故宫博物院藏甲本《洛神赋图》【2】英国大英博物馆藏《洛神赋图》（宋摹本）【3】台北故宫博物院藏丁观鹏摹《洛神赋图》【4】辽宁省博物馆藏《洛神赋图》（南宋摹本）【5】故宫博物院藏乙本《宋摹洛神赋图》【6】美国弗利尔美术馆藏《洛神赋图》研究基于IIIF（国际图像互操作框架）对《洛神赋图》的六个版本进行文字标注，构建书画智能体以实现对《洛神赋》文图互动关系的动态游览，并提取各版本在人物视线流动、肢体语言和车服规制等细节上的差异，从而阐释从赋到图过程中曹植由诸侯向君王靠近的地位抬升现象，以及男性注视下洛神形象的世俗化和卑微化。例如，故宫甲本、辽宁本和弗利尔本“天子驾六，诸侯驾四”的规制，经由故宫乙本和大英本以纯色代替杂色马的逾越，最终产生了丁观鹏本曹植乘纯色四马车架、侍从乘驳马的等级秩序。曹植车架：四马异色→曹植车架：四马异色→四马同色洛神六龙，曹植四驾：人神之