CN119495318A 用于灯光秀的音乐可视化方法及其装置 （哈曼国际工业有限公司）

一方面提供了一种用于灯光秀的音乐可视化方法。该方法采用人工智能神经网络机器学习，其经过训练定义了多种音乐模式的判断标测/节拍检测结果、根据不同的音乐模式选择不2通过音乐模式检测神经网络单元构建音乐模将要播放的歌曲输入所述音乐模式检测神经网络基于时间间隔进通过控制单元从所述音乐模式检测神经网络单元接收所述歌曲中的所述音乐模式的检测结果并动态地控制灯光元件以在播放所述歌曲的同时相应地展示多种灯光秀样式中2.如权利要求1所述的方法，其中，所述方法的步骤还包括训练音乐模式检测神经网个时间间隔从所述音乐模式检测神经网络单元实时接收的所述歌曲的所述音乐模式来动态地更新所展示的所述多种灯光秀样式中的至音乐模式检测神经网络单元，其被配置为用于构建音乐模式检测神模式检测神经网络将要播放的歌曲输入其中基于时间间隔进行检测并在其每个时间间隔控制单元，其被配置为从所述音乐模式检测神经网络单元接收所述灯光元件，其配置为由所述控制单元动态地控制以在播放所述音乐表征来将所述歌曲的所述每个时间间隔识别为多个音乐模式中3每个时间间隔从所述音乐模式检测神经网络实时接收到的所述歌曲的所述音乐模式来动态地更新所展示的所述多种灯光秀样式中的至20.如权利要求11所述的装置，其中所述多种灯光秀样式中的至少一种包括以下各项23.一种在其上存储有指令的非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器执行如权利要求1_10所述的用于灯光秀的音乐可4[0003]在灯光秀展现出人类创造力的魅力而日益成为现代文化艺术中不可缺少的一部乐可视化方法的步骤可以包括通过音乐模式检测神经网络单元构建音乐模式检测神经网络；将要播放的歌曲输入已经训练好的音乐模式检测神经网络以基于时间间隔进行检测，方法的步骤还可以包括通过控制单元从音乐模式检测神经网络单元接收要播放的歌曲的音乐模式的检测结果并动态地控制灯光元件来在播放该歌曲的同时相应地展示多种灯光置为用于构建和/或训练音乐模式检测神经网络。音乐模式检测神经网络可以将要播放的制以在播放歌曲的同时相应地展示多种灯光秀样式5[0007]在参考附图阅读以下的详细说明后将更好地理解本发明的这些和/或其它特征、[0008]图1示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化方[0009]图2示出了依据本发明性主题的一个或多个实施例的示例性音乐模式检测神经网[0010]图3示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化装[0011]图4A示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化[0012]图4B示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化[0013]图4C示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化[0014]图4D示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化[0015]图5示出了依据本发明性主题的一个或多个实施例的灯光元件的映射图案500的[0016]图6A图6B示出了依据本发明性主题的一个或多个实施例的将灯光元素设计为实个或多个实施例的将灯光元素设计为实现纵向和/或横向运动的灯光动作[0018]图11A图11B示出了依据本发明性主题的一个或多个实施例的将灯光元素设计为[0019]图12A至图12C示出了依据本发明性主题的一个或多个实施例的将灯光元素设计乐中所包含的物理信息，从而能够根据这些物理信息标识出每一首音乐片段的音乐模式，然后再通过基于将这些音乐模式与机电结合的方式将所标识出的音乐模式展现出来。例[0023]图1示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化方6了人工智能神经网络机器学习作为定义每种音乐模式的各个物理信息的阈值的方法。因[0025]在一些示例中，在对于不同的音乐流派进行分析之后可以得出例如四种音乐模到模式4可以分别代表音乐中从低到高的四个兴奋度和强度级别。音乐中有很多物理信息[0026]图2示出了依据本发明性主题的一个或多个实施例的示例性音乐模式检测神经网一个或多个实施例中，使用该神经网络200能够将任何输入其中的歌曲或歌曲片段检测为音乐表征可以包括诸如：(1)低频声进击速度(lowattackspeed)、[0028]在本发明性主题的一个或多个实施例中，音乐模式检测神经网络200的处理过程可以检测该歌曲片段相应的关键音乐表征是否在该阈值再发送给隐藏层230中的神经元。与神经元中的每一个神经元分别关联的偏差也被添加到7元244中的标准也同时满足，则在进入下一层时神经元232和236进入到同一个神经元254，而且神经元238和244也满足条件而进入到同一个神经元258，在这一层的神经元变为五个[0030]数据以这样的方式通过网络传播，即正向传播(如图2的音乐模式检测神经网络[0031]上述的神经网络可以检测作为输入的歌曲片段并将其归类为四种音乐模式中的后将预测值信息通过神经网络反向传播(如图2的[0034]本发明性主题的方法采用了将已经人为地标识出各个片段的音乐模式的歌曲样[0035]在本发明性主题中提供的音乐可视化方法的框104的步骤中，选用足够多这样的组原声音乐ST1、第二组原声音乐ST2以及第三组原声音乐ST3分别来自三首风格彼此不同的歌曲样本。第一组原声音乐ST1包括来自第一首歌曲的各个片段及其模式1到模式4的样本集、第二组原声音乐ST1包括来自第二首歌曲的各个片段及其模式1到模式4的样本集以及第三组原声音乐ST1包括来自第三首歌曲的各个片段及其模式1到模式4的样本集。从这8于模式1的歌曲片段，它们也可以被输入到音乐模式神经网络的模式1输入模块202中用来入到音乐模式检测神经网络的模式1输入模块202中用来更多次迭代地训练模式1，这些模[0053]类似地，对于音乐模式检测神经网络中训练模式2的训练，可以将原声音乐ST1、ST2和ST3中标识为模式2的片段选出作为模式2歌曲片段输入到该神经网络的模式2输入模识为模式2的歌曲片段，它们也可以被输入到音乐模式检测神经网络的模式2输入模块204式检测神经网络200训练针对音乐模式2的关键音乐表征，并将模式2的标准的范围组合提或其他歌曲样本中标识为模式4的片段输入到音乐模式检测神经网络200的模式4输入模块范围内标识出不同音乐模式(从模式1到模式器学习程序可以基于这数百首歌曲的训练得到每个音乐模式(模式1到模式4)的相应的关9的方法还可以获得更多的测量标准以用来定义音乐的强度和/或兴奋程度等的更多的模好的音乐模式检测神经网络200中经过检测，从而分别确定该歌曲各个片段分别是多种音乐模式中的哪一种。音乐模式检测神经网络200可以基于一定的时间间隔来实时地检测歌个时间间隔或连续多个时间间隔可以被记录为该歌曲的属于该音乐模式的一个歌曲片段。测神经网络200来检测并记录该歌曲各个片段的音乐模式，然后在灯光秀表演中根据音乐[0059]在本发明性主题的一个或多个实施例中，音乐模式检测神经网络200可以用于在稳健的框架来实现依据歌曲的多种音乐模式的实[0060]在灯光秀的设计中可以根据从低频声和中频声中提取响度的多个峰值来获取音乐可视化的装置可以根据人工智能音乐模式检测/节拍检测实现智能化灯光秀表演。该音[0062]图3示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化装为接收来自音乐模式检测神经网络单元320的音乐模式检测结果，并根据这些检测结果设块。控制单元310可以被配置为将音乐模式检测神经网络单元320的输出映射到灯光元件，320输出的检测结果(模式1至模式4)分别地或组合地映射为各种不同的灯光秀样式。例如[0063]本发明性主题还提供了在其上存储有指令的非暂时性计算机可读介质340，所述指令在经由上述一个或多个处理器执行时使得该一个或多个处理器执行如本发明性主题[0064]本发明性主题所提供的这种用于灯光秀的音乐可视化的装置可以是或包括诸如元件与例如在控制单元中的App的智能处理结合来实现酷炫的声光效果。这些灯光元件可该歌曲的一个或多个音乐模式来动态地展现出多样网络进行检测，并且记录为0s_8s的时间段为音乐模式1，9s_29s的时间段为音乐模式2，30s_60s的时间段又是音乐模式1等，则在表演该首歌的灯光秀时在播放到歌曲的到第9秒以在音乐模式检测神经网络单元实时地输出音乐模式检测结果的同时控制灯光元件以根于实时地接收音乐模式检测神经网络单元所检测的歌曲的音乐模式并同步地更新灯光秀[0069]图4A示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化带410的上下两个圆环可以分别布置为围绕着被布置在音乐可视化装置正面面板上的上下两个扬声器喇叭的圆形外沿，使得在8字形灯带发光的同时可以照亮其内设置的扬声器喇[0071]图4B示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化装置正面的矩形面板的中间部分设置为使8字形内缘和外缘布置为具有体现其轮廓线的灯发光的投影灯带414可以向下将灯光投射到例如下方的平面(诸如桌面或地板)上。投影灯[0073]图4C示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化[0074]图4D示出了依据本发明性主题的一个或多个实施例的用于灯光秀的音乐可视化可以更清楚地看到并且设想到边缘灯带404可以是沿着该音乐可视化装置外壳的长方体形[0075]上文中所描述的组成各种形状的灯光元件可以是或包括诸如LED的灯光元件所组[0076]图5示出了依据本发明性主题的一个或多个实施例的灯光元件的映射图案500的灯光元素中，投影元素514对应于设置在底部板面上的灯光元件(如图4B中投影灯带414)。顶部板面元素516对应于设置在顶部板面[0077]在这些灯光元素中，例如在8字形元素的上下两个圆环之间可以还设置有一横线圆环可以例如设计成围绕在音乐可视化装置正面面板上的上下两个扬声器喇叭的圆形表轮廓线、上圆环以及下圆环三者也可以分别单独构成该8字形轮廓线元素的不同的变换效[0078]接下来，在音乐可视化装置的底部面板上和顶部面板上分别布置的投影元素514和顶部板面元素516可以具有例如分别如图5中所示的映射形状。其中顶部板面元素516可的投影元素514可以布置成例如动态地向地板投影出各种图案或元素，以增加灯光秀的趣了依据本发明性主题的一个或多个实施例的对一些灯光元素的各种灯光动作设计的示意[0080]在一个或多个实例中，灯光元素可以被设计为实现例如雨刮式摇摆的灯光动例如如图6A和图6B先后展示的两帧所示，8字形元素的上圆环602的一部分和下圆环604的的第一帧中上圆环602先按照箭头606所指的从左向右的方向扫过，且下圆环604先按照箭素的灯光的下部的一部分816从下向上地出现、然后是中部的一部分814和上部的一部分[0082]灯光元素的纵向和/或横向运动的灯光动作还可以设计为实现例如像电流流过导[0083]此外，还可以将灯光元素的纵向和/或横向运动设计为实现例如像是大门关闭或素1004和8字形元素1010的组合灯光从左右两个方向出现并如箭头1006和1008所指向中间如图11A和图11B中可以先后显示的两帧所示，图11A中第一帧中侧边元素的一部分1102和边缘元素的一部分1104一起沿箭头1106所指的顺时针方向360度旋转，并且投影元素1114的两部分组合并且灯光像车轮轮毂那样围绕音乐可视化装置前面板的中心转动，到图12B元素的设计和改变也可以设计为与音乐的节拍分别映射到这些灯光秀样式中的一种或多种。每个灯光秀样式可以分别包括多种灯光动乐模式检测神经网络所输出的检测结果(例如模式1至模式4)可以映射到这些灯光动作样光动态变换的四种组合C1_C4可以归纳[0118]本发明性主题所提供的用于灯光秀的音乐可视化的装置通常能够以音乐变化为基础，并且能够通过对外界环境的感知和/或对于诸如使用者的人体姿态来相应调整地作歌曲在其每个时间间隔分别检测为多个音乐模式中的[0123]通过控制单元从该音乐模式检测神经网络单元接收要播放的歌曲中的音乐模式的检测结果并控制灯光元件以在播放该歌曲的同时相应地展示多种灯光秀样式中的至少同时基于在所述每个时间间隔从所述音乐模式检测神经网络单元实时接收的所述歌曲的所述音乐模式的检测结果来动态地更新所展示的多种灯光秀样式中的至乐模式检测神经网络将要播放的歌曲输入其中以基于时间间隔进行检测并在其每个时间的同时基于在所述每一个时间间隔从所述音乐模式检测神经