版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
Self-supervisedLearning:pretasklearningSupervisedandUnsupervisedLearningSJTUDeepLearningLecture.2SupervisedLearningUnsupervisedLearningSelf-supervisedLearningPretexttasksContrastivebasedLearningGenerative&ReconstructionbasedLearning2015-20192020-2022-PopulartimeUnsupervisedVisualRepresentationLearningbyContextPrediction(ICCV2015Oral)CarlDoersch,AbhinavGupta,AlexeiA.EfrosExperimentshowsthelearnedsemanticinformationcanusedforclassificationinalinearevaluation.Twoconvolutionalnetworksaresharedweights.Self-supervisedLearningwithPretextTaskUnsupervisedLearningofVisualRepresentationsbySolvingJigsawPuzzles(ECCV2016)MehdiNoroozi,PaoloFavaro1.randomlycropa225×225pixelwindowfromanimage(reddashedbox)2.divideitintoa3×3grid,andrandomlypicka64×64pixeltilesfromeach75×75pixelcell3.9tilesarereorderedviaarandomlychosenpermutationfromapredefinedpermutationsetandarethenfedtotheCFN4.predicttheindexofthechosenpermutationSelf-supervisedLearningwithPretextTaskJigsawPuzzlesUnsupervisedRepresentationLearningbyPredictingImageRotations(ICLR2018)SpyrosGidaris,PraveerSingh,NikosKomodakisSelf-supervisedLearningwithPretextTaskBoostingSelf-SupervisedLearningviaKnowledgeTransfer(CVPR2018)MehdiNoroozi,AnanthVinjimoor,PaoloFavaro,HamedPirsiavashSelf-supervisedLearningwithPretextTaskS4L:Self-SupervisedSemi-SupervisedLearning(ICCV2019)XiaohuaZhai,AvitalOliver,AlexanderKolesnikov,LucasBeyerCombinationofsemi-supervisedlearningandself-supervisedlearningObjectivefunctionIncludetwotermsRotationLossEntropyLossTomakethemodelmorerobusttoadversarialperturbations.ThefirsttermontherightistoreducetheKLdivergence,whichcanbewrittenas:Thesecondtermisastandardcross-entropyloss(byclustering-basedpseudolabels):Self-supervisedLearningwithPretextTaskSummary:DesignthePretext
taskforSelf-supervisedLearningwithoutsupervision1.UnsupervisedVisualRepresentationLearningbyContextPrediction(ICCV2015)2.UnsupervisedLearningofVisualRepresentationsbySolvingJigsawPuzzles(ECCV2016)3.UnsupervisedRepresentationLearningbyPredictingImageRotations(ICLR2018)4.Boosti
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 20中国农业大学植物抗逆高效全国重点实验室大豆研究中心博士后招聘备考题库及答案详解（有一套）
- 2026年安徽电子信息职业技术学院公开招聘博士人才5名备考题库及答案详解（名师系列）
- 2026春季江铜集团法务风控部校园招聘2人备考题库（第二批）含答案详解（完整版）
- 2026北京化工大学材料科学与工程学院马兆昆教授团队科研助理招聘1人备考题库及参考答案详解
- 2026云南安宁化工厂有限公司校园招聘5人备考题库含答案详解（完整版）
- 2026中国电建集团郑州泵业有限公司招聘7人备考题库含答案详解（满分必刷）
- 2026贵州黔晟投资有限公司第一批社会招聘8人备考题库及答案详解（各地真题）
- 2026广西百色田阳区农林投资集团有限公司招聘1人备考题库含答案详解（轻巧夺冠）
- 2026广东东莞市投资促进局招聘编外聘用人员1人备考题库附答案详解（综合题）
- 2026河南郑州市招生考试中心公益性岗位招聘10人备考题库附答案详解（a卷）
- 抖音电商200个干货问题知识手册内部资料
- 刑法学知到智慧树章节测试课后答案2024年秋江西师范大学
- 道路施工合同劳务分包协议样本
- 湖北省阳新县黄颡口镇军山矿区建筑用石灰岩矿矿产资源开发利用及生态复绿方案
- 潮汕英歌舞介绍
- 水土保持工程监理工作总结报告(格式)
- 人力资源课件 -非人力资源经理的人力资源管理
- 诊所医保财务管理制度
- 企业年金基金管理机构基本服务和收费标准行业自律公约
- 2022年3月四川省甘孜藏族自治州招聘考试《护理学》试卷及答案
- GB/T 38582-2020森林生态系统服务功能评估规范
评论
0/150
提交评论