人工智能风险并非人为制造

人工智能：

风险并非人为制造！目标认识并定义医疗机构中使用的各种人工智能类型，以及理解其功能的重要性。开发能够提升人工智能领域患者安全的风险缓解技术。描述与数据交换、可发现性和同行保护相关的脆弱领域，以及监管环境如何演变使情况变得更加复杂。3仿佛就在昨天……但那已经是50年前的事了！1956年在达特茅斯的一次会议上被引入医疗保健领域。学院数学教授约翰·麦卡锡最初提出的方案是：“基于这样的假设：学习的各个方面或任何其他智力特征都是如此

原则上，它可以被精确描述，以至于可以用机器来模拟它。4但人工智能早已发挥作用！让我们快速穿越时空。医学的进步对人工智能的进步产生影响，这一点不足为奇。虽然人工智能的概念早在1956年就已提出，但直到20世纪70年代，我们才看到基于规则的方法和临床决策支持系统等成功的项目或人工智能的引入。我们在谈论什么？5620年的“学习”

1970-1990但发展所需的技术初代/第一代人工智能基于规则需要稳健的决策规则需要人工编写的更新仍然需要大量的人际互动机器学习方法考虑复杂的交互作用，以便从数据中识别模式。受监督或不受监督收集大量案例或数据通过一系列算法，在数据集上训练“神经”网络来“解决”问题或识别问题。7人工智能应用的增加是由以下方面的成功应用推动的：深度学习的应用增强的神经网络对算法的理解和开发不断加深算法的日益普及这一切到底意味着什么？8成功！9它很快就会来到您附近的设施！基础生物医学研究自动化实验自动化数据采集基因功能注释转录因子结合位点的预测分子动力学模拟文献挖掘转化研究生物标志物发现药物靶点优先排序药物发现药物再利用化学毒性预测遗传变异注释10常见来源有哪些？临床实践疾病诊断患者基因组解读治疗选择患者监测患者风险分层用于一级预防11我们在做什么？麻省大学纪念健康人工智能/数据挖掘工作组章程背景：

人工智能（AI）、机器学习（ML）和数据挖掘（DM）在我们的医疗记录中代表着重要的全新工具。它们带来了新的能力，但也带来了新的风险。愿景：UMMH将成为利用数据产生洞见的领域的领导者

利用这些新型工具，我们的数据将成为患者护理、研究、创新以及为组织创造价值的关键资产。目标：我们将充分利用人工智能和数据挖掘工具，以实现以下目标：更好地为我们的患者提供护理让我们能够更有效地创造价值，确保患者获得最及时、有效、恰当和公平的医疗服务，同时降低伤害风险并减少成本。为了获得新的见解，并帮助他人以透明的方式通过我们掌握的独特数据集获得新的见解，我们致力于研究和利用这些见解。以创造新创新为导向来产生收入为了最大限度地降低这些工具的风险/从隐私、安全、伦理和准确性的角度以最负责任的方式使用这些工具通过透明的患者和医疗服务提供者通知流程来降低责任风险数据存储风险——对数据存储位置的控制我们通过这些工具公平对待患者，并告知患者我们系统中人工智能的使用情况。12发展治理任务：制定一项政策，概述我们如何使用人工智能工具和数据挖掘的关键方面，以及我们不应该如何使用它们。建立一份环境中使用的AI工具目录，并列出倡导者和所有者。制定新提出的AI工具的接收流程，并评估它们是否符合政策预期。建立治理流程/决策小组，负责批准推进人工智能/机器学习/数据挖掘工具的应用。13目标项目的所有者是谁（如果是临床医生，信息系统合作伙伴是谁）？谁来跟踪项目的投诉/问题/成本/成功情况？该软件是否已获得FDA批准？该软件旨在解决哪一类问题（研究问题、质量问题、临床问题、患者问题、人群健康问题）？该软件的具体使用场景是什么（250字以内）？哪些患者群体将接受干预？产生了哪些新的发现/建议？数据是如何处理的？如何通知患者？如何通知临床医生？是否存在利益冲突（例如，项目所有者与公司存在股权关系）？14接收和监督前景广阔的新兴技术，尤其是在疫情后时代互联医疗中心报告（2020年10月）：大多数医疗系统用于人工智能目的的数据不到其总数据的20%。大多数组织使用供应商构建的系统，而不是自行开发人工智能（70%使用人工智能的组织表示使用供应商系统）。疫情期间远程医疗的兴起实施速度比传统方式可能发生的速度更快成功确保了人工智能技术将继续得到应用（并得到扩展）。15新兴技术16但早在乔治身上，我们就瞥见了这一点。人工智能在医疗保健领域的应用带来了机遇改革医疗保健监管环境如何？谁在制定监管议程？最新的建议/监管问题是什么？人工智能属于现有的法律范畴吗？还是需要一个新的法律范畴？17监管环境从监管角度来看……目前还没有太多相关措施。监管灰色地带……目前尚无针对人工智能在医疗保健领域应用本身的明确法规。FDA已提出针对医疗器械领域的监管条例。这种方法并非为在医疗保健环境中使用人工智能数据而创建/预期。这部分内容涵盖了设备的创建和使用，以及对设备及其相关算法的修改。拟议的监管框架最初于2019年提出。18灰色地带FDA已提出针对医疗器械领域的监管条例。SaMD（软件即医疗器械）监管行动计划SaMD：指“旨在治疗、诊断、治愈、缓解或预防疾病”的软件。鼓励制定/发展人工智能“最佳实践”。迄今为止，几乎没有出台任何监管措施。考虑现行法规（特别是隐私法规）的应用为解决健康公平问题（算法偏差、数据收集不平等）提出的法规建议19FDA法规拟议法规：重点关注SaMD中临床AI的改进。对已确定的变更控制计划的建议。算法开发者需要明确指出他们将来打算修改应用程序的哪些参数；概述为促进这些变革而拟定的方法。人们担心集中式的“监管”过于庞大，无法充分审查和考虑提案（尤其是在技术预计会根据收集的数据而发生变化的情况下）。20监管环境世界卫生组织为人工智能监管提供了指导原则：保护自主权促进安全确保透明度培养责任感确保公平促进可持续人工智能21世界卫生组织随着人工智能的不断发展，隐私和安全问题日益凸显。医疗保健人工智能固有地存在隐私和安全风险。鉴于系统间访问的数据量巨大，发生数据泄露/网络攻击的风险也随之增加。数据/隐私政策更新，以反映数据的收集和使用情况。现行的隐私法规是否已更新，以将人工智能系统和数据使用纳入考量？HIPAA要求“去标识化”。在这种情况下，真的存在去标识化吗？22隐私与安全关于共享和利用健康数据进行人工智能应用的圆桌会议（美国卫生与公众服务部）在确保人工智能数据访问权限的同时，保护隐私。在应用个人健康数据时，隐私问题至关重要。电子健康记录和其他医疗记录中的健康数据受联邦和州法律管辖，其他数据类型仅通过私营部门制定的“服务条款”协议进行监管。美国卫生与公众服务部及其合作伙伴需要确保在应用这些数据源时，敏感信息不会被泄露或滥用。同时，研究人员需要能够恰当地使用敏感数据来开发新的见解、诊断方法和治疗方法。23“圆桌会议”（HHS）提供敏感数据去标识化指南。为了保护隐私，研究人员在分析健康数据之前，可以通过多种方式对其进行匿名化处理。例如，数据科学家利用代码，可以将来自不同来源的关于个人的数据关联起来，而不会泄露个人的身份。美国卫生与公众服务部(HHS)提出，可能会考虑提供更多关于去标识化方法的指导，以保护数据隐私和安全，同时鼓励将其用于人工智能应用。该指导可能包括更新《健康保险流通与责任法案》(HIPAA)中关于去标识化的规则，以满足现代需求。24“圆桌会议”（HHS）可操作的机会建立对敏感健康数据进行控制访问的凭证系统。仅允许合格的研究人员访问敏感数据，并签署协议禁止更广泛地共享数据。美国卫生与公众服务部指出，该模型可更广泛地应用于资质认证体系的开发，以确定谁应该在何种条件下访问哪些类型的数据。25“圆桌会议”（HHS）可操作的机会患者被告知的关于人工智能在医疗保健中的应用有哪些？应该告诉他们什么？担忧：这次讨论会如何影响他们的决策？患者对这些信息会有什么反应？人工智能是用于质量控制、运营控制、研究还是临床护理？分类如何影响知情同意的讨论？26知情同意应向患者提供信息，解释人工智能程序的基本工作原理。医疗服务提供者应向患者解释他们使用人工智能程序或系统的经验。供应商应说明人工智能技术的风险与潜在收益（与人类准确率相比）。27建议探讨在诊断、治疗和手术过程中，医护人员/人与系统/机器的角色和责任。审查已采取的保障措施，例如临床医生和人工智能程序之间的结果交叉核对。解释与患者信息保密性相关的问题以及任何数据隐私风险**Schiff,D.和Borenstein,J.(2019年2月)。临床医生应如何与患者沟通人工智能团队成员的角色？《美国医学会伦理学杂志》，21(2):E138-145。doi：10.1001/amajethics.2019.13828更多推荐人工智能数据和建议必须经过验证，并在各