赛迪顾问IT新语第一期：AI技术新风向：HITL 让人的意志成为AI训练的关键因素

2023年7月15日第2023年7月15日第1期总第1期"人机协同"馈思雏创造世界HITL(Human-in-the-Loop),中文称之为“人在回路”,是一种机器获取应用发展背景learning),机器提出请求让人类帮助标注疑难数据；第二阶段是交互学习(Interactivemachinelearning),人类可以对推理结果干预并反馈；第三阶段是机器教学(Machineteaching),人类利用专业知识和经验对AI进行指导。2017年人类反馈的强化学习(ReinforcementLearningfromhumanFeedback)的提出正是基于机器教学的理念。BurrSettles系统性地微软提出机器教学OpenAI研究发布微软联合MIT提出ChatGPT使用了HITL目前，HITL技术尚未形成较为成熟的应用，一些科技型企业推出HITL平台为使用者提供交互界面，用户可以在平台上完成标签数据、复核机器生成结果等，例如谷歌、亚马逊等科技企业推出的GoogleCloudHITL、AmazonA2I等。但是用户无法对标准化组件进行更改或对训练全流程进行反馈。技术层面，RLHF技术的出现使得人类能够参与到机器训练的过程中，而不仅停留在数据标签层面，RLHF技术也成为HITL重要研究路线。22GCID赛迪顾问HITL的颠覆性影响HITL使得机器决策更加准确、智能。因为HITL是一个循环的反馈过程，在此过程中，人类的洞察力帮助调整和测试模型，每一个有关训练、测试或调整的反馈都能够作用于AI系统，连续的反馈循环使得算法不断优化，做出更加准确、智能化的决策。另外，因为机器可以接收多轮人类反馈，并识别特定的单词或短语语气等，HITL系统对事物和情感的分析能力将在循环反馈过程中逐渐提升，不断优化HITL系统的决策生成。HITL有效提升人工智能决策过程透明度。HITL系统能够改进决策过程，使决策过程可解释、可问责，从而提高决策的透明度。未来，HITL系统可以实现人类反馈后的变化可视化，可以快速判断决策结果改变是由哪一环节的反馈产生的。这让人类可以更充分理解机器学习的工作原理，实现机器决策原因的可追溯、可解释、可问责，进而改善机器的决策过程。同时，因为HITL系统包含多轮人类反馈，这可以在更大程度上避免机器学习产生错误和偏见。3HITL新理念的应用场景产生更强带动作用。传统训练的模式由于缺乏人类参与，导致机器决策难以满足预期，生成内容难以还原人类真实意愿，限制人工智能在此类应用场景的快速发展。HITL的方式将有效提升机器认知水平，带动市场发展。HITL技术对AI应用的带动作用及影响HITL对应用带动作用预计产生的影响%%%%%%%%%%自动驾驶机器可在人类驾驶过程中习得如何处理复杂的道路环境智能调度在交通、工厂等复杂场景中，管理者需要符合环境的科学调度，HITL可以通过与管理者交互提升施策水平HITL可以帮助机器更好适应不同家庭环境，从而以更低成本提供个性化服务HITL会在与投资者交互过程中习得其偏好习惯，并在投顾决策后通过反馈不断调整机器可以根据客户反馈，进行持续自主学习，增强客服满意度机器理解人类自然语言后能够理解人类编程目标，从而自动生成符合人类意愿的代码机器面对不确定的内容生成时，可自主寻求人类的引导和帮助，从而大幅提升内容质量和可用性第1期总第1期技术发展面临的挑战人与机器的协同更需要人类提供信息的准确性和匹配性。一方面，人类反馈具有主观性，人类判断事物难以保持100%的准确率，任何有人类的系统都有发生错误的风险，这可能会对系统的有效性产生重大影响，如果人类在标记数据时出现错误，那么同样的错误将在整个系统中传播，保证人类反馈的准确性显得尤为重要。另一方面，正确判断机器模型需要哪些反馈，引导用户提供有用的反馈，并将模型在用户反馈中学习后的变化可视化是保证HITL可持续发展的重点。人机协同应用需要逐步提升处理速度，降低维护成本。HITL需要人类在机器训练的不同阶段中进行反馈，在应用初期，人类参与决策过程，HITL系统处理速度相对较慢，随着HITL的应用普及，如何缩短人类反馈时间、提高人机协同的交互效率、提升系统整体的处理速度是HITL发展难点。另外，HITL系统的构建和维护成本较高，包含大量的开发成本，且在前期用户量较少的情况下，仍需大量维护费用，逐步降低维护成本有助于实现HITL的应用渗透。5未来展望人类和计算机结合起来，形成了一种新的智能体系结构，人类可以直接参与到智能体的训练中，提供实时反馈，指导智能体的学习过程，或者直接控制智能体的行为。例如，在自动驾驶汽车的开发中，人类可以在机器无法确定的情况下协助判断，或通过人类操控来指导汽车的行驶，或通过语音命令来控制汽车的行为；在机器翻译中，人类可以提供翻译的正确性反馈，以帮助机器学习模型更准确地翻译文本。人机协同充分利用人类的智慧和机器的计算能力，实现更高效、更准确、更可靠的决策和操作，为人工智能的实际落地应用提供安全与便利，推动人工智能应用场景拓展。HITL理念将更好地实现“过程管理”,突破现有AI算法的能力边界。随着人工智能算法日趋复杂，传统“结果管理”的人工智能训练模式难以提供高置信度保障，而HITL理念是通过在不同阶段训练的过程中进行反馈，可以更好地实现