一、引言

　　2017年大阪大学和东京都立大学的国际研究团队研制出一种新型机器学习设备，它能够在谱曲时分析人类脑波。他们为机器人预编了一些乐曲，但又通过添加听众的脑波，来创造出新的音乐。从作曲角度来看，二十世纪也产生了图形乐谱的创作，使创作更加多元化。为满足乐谱的记录、分析和创作音乐的三大功能，五线谱一直是最流行乐谱记录方式。随着科学技术与作曲技术的迅猛发展，五线谱的地位受到严酷的挑战。最近几年发展起来的“高维乐谱（涵盖二维谱、3D乐谱、6D乐谱等）”即是基于信息科技和AI概念基础上的一种新的乐谱形式，具有诸多优点和人机共识共享等特性。高维乐谱涵盖的标识要比五线谱丰富，许多功能性提示和不同民族区域的特殊发声都可在高维乐谱谱面上清晰地呈现。随着科技进步和文化艺术的质量提升，对乐谱要求也越来越呈现高维化，智能表演机器人会更乐于接受高维乐谱。因此，必然会产生与之相对的新型音乐分析理论。在将人作为受众的二维图谱分析法和将智能机器作为受众的二维数据分析法中，二维图谱分析法是在特定的音乐分析方法论的指导下研究二维谱映射后的音乐作品结构，解读作品运用何种作曲技法来表现音乐内容的全新音乐分析方法，其目的是更准确地理解作曲家的创作意图，帮助演奏者读懂乐谱，拓展艺术创作空间。二维图谱分析法作为高维乐谱学的一个分支，是对二维记谱法的补充与延伸，也是高维乐谱学从记录走向分析，继续深入化的研究成果。

　　以全新的3D乐谱为载体，探索全新的音乐创作技法，在原二维谱创作基础上，开创基于人类情感与作曲技术为主导地位的、智能机器所能读懂的、人机共识共享的音乐创作新格局。通过构建3D乐谱理论基础，提升其记录、分析和创作音乐的三大功能，研究促进其在音乐各领域的应用和推广，配置相关软件及数据库，确信这一原创性的发明创造将会掀起音乐科技浪潮。

　　二、构建3D乐谱的基本思想和理论方法

　　最早期的乐谱是为了辅助人们记忆音乐的备忘辅助工具，经过几百年的发展演变、改良传播，现阶段普遍使用的是我们熟知五线谱与简谱。随着二十世纪科学技术的发展，发明和改造一种能更加准确地描述世界范围内的音乐和音响现象以期达到智能化人机共识的目的追求一直没有停止过。可视化的二维乐谱及三维乐谱是用直角坐标图及三维坐标图来记录音乐，二维表示音高与时长，三维带入音色矢量。能直观看到作品的规律，分析作品的旋律、节奏、发展逻辑与曲式结构等会给学生学习带来极大的方便。用3D坐标图形展示创作者所要真正表达的音乐，易于发现音乐发展规律和音乐结构密码、推演全新的作曲技法，即用3D图形来创作新的音乐。具体做法如下：

　　1. 在二维谱基础上建构3D乐谱理论，创设三维坐标体系（H，T，Ti），即以（音高、音长、音色）为三个坐标轴的笛卡尔坐标体系。Ti.轴向即音色序列增量方向，这里采用序列标准为音色GM国际统一标准（见图1.），序列号定义为Ti轴向刻度，共128个度量单位。

图1. 音色GM国际统一标准的128个度量单位

　　2. 在上述3D乐谱（H，T，Ti）立体坐标系中的某一个点，即代表某一时刻某音乐的音高、音长以及该音乐在这一时刻的音色，这样，过去在传统乐谱中不能体现的音色概念，在3D乐谱中都有所表现（见图2.）。增加了音色概念的3D乐谱能够更为便捷地表现复杂的多声部、多音色的音乐内容，如室内乐重奏、交响乐、流行乐等。

图2.用不同颜色表现不同音色的3D乐谱示意图

　　3．3D乐谱增强了可视性，听音乐时能看到音高、时值、音色的变化，联觉效应更明显。也可从视觉角度进行音乐创作，而不仅以听觉为主。运用新的作曲技法为复杂的多声部音乐、交响音乐等多种类型的音乐作品加以配套分析。3D乐谱使繁杂的多声部音乐不止在音高与时间上得到清晰线条的展示，更能够将多种音色呈现出不同层次的动态曲线，从而更准确、更合理、更有层次地将作曲者的想法表达出来。

　　4.其他传统乐谱经3D乐谱映射后，乐曲会沿时长按照规律行进。我们将多声部、多音色的音乐按照其用途重要性分为不同的层次，将最重要的旋律层排在最前面，给听众和观众以最直观的讯息；将伴奏层或复调层排在中间位置，将低音声部排在最后面。作曲家运用3D乐谱进行音乐创作，亦能设计出既合乎逻辑又简明有效的方法。

　　5．人机共享是技术关键，3D乐谱在人能读懂、会用并进行分析、创作的同时，智能机器也要会做这一切。即3D乐谱不仅要适用于人，也要适用于智能机器人。建立人机共识、共享的3D乐谱新标准，创设以3D乐谱为载体的作曲新范式是未来努力的方向。

　　我们通过上述构架，将音乐先对应在二维乐谱中，再根据音色的不同，放置在不同的垂直平面上，形成3D乐谱。这个过程对于计算机来说，会是一个非常快速而简单的过程（如图3）。再将不同的音色库对应在Ti轴旋律上，3D乐谱将可以直接演奏出合成的多声部音乐。再加上不同色彩的以示区别，受众不仅能够听到美妙的音乐，还能够看到起伏变化的音乐图形结构，产生视听同体的联觉综合体验。

图3.3D乐谱制作流程图

　　这是音乐学范畴的全新拓展，需要在研究过程中完善和精准。从视觉与听觉并重的角度出发，尝试与普通作曲技法不同甚至相反的逆行创作思路。创设以3D乐谱为载体的作曲新范式是难点所在。在3D乐谱中可以直接“看到”构成音乐各要素的基本形态及其发展逻辑，能让人们直接去分析作品的旋律、节奏、发展逻辑与曲式结构等。通过对主题结构特征进行客观理性的分析，提取图形化特点、音乐层次、频带宽度、振幅、收放频率、核心音走向等特征，揭示作品在特定历史环境中符合审美习惯的普遍意义，剖析作品的音乐个性。对多声部音乐提出全新的三维音乐层次分析，建立分层概念后分析出的音乐图形，也会从视觉上为演奏者和听众提供更多清晰明了、易懂易记的图形化分析结果，促进音乐教育的普及，推动新型作曲技术的产生。

　　三、音色Ti轴向的主观性素描

　　在3D乐谱（H，T，Ti）立体坐标系中，新增维度Ti是一个重要的物理变量，它使得音乐记录载体更趋完善。音色概念无论在西方音乐创作中还是在中国传统音乐的表现中都具有重要的地位，尤其进入20世纪后，音色则成为新音乐创作的重要表现手段，对于音乐情绪的渲染、音乐形象的塑造起到了重要的作用。在传统管弦乐队中，将乐器按照材质的不同分成木管组、铜管组、弦乐组、打击乐组。由于各种乐器的材质、腔体结构的不同，其虽为同组乐器，音色也会有很大差别。乐器法是配器课程的重点，传统教学中学生仅局限于听闻看图阶段，对于乐器音色的理解只停留在表面。而音色连续可调节乐器的发明，可直观看到音色的连续变化，这在教学实践中增强了学生对音色概念的理解。由此也丰富了Ti轴向的刻度，甚至可以连续变化。频率最低的振动所发出的音称为基音，其它称为泛音，泛音的种类和多少决定了音色。对不同频段的音色，人的感受是不一样的。为对音色概念做进一步的了解，我们换一个角度，通过实验选几个音色变化的极端情况，对音色Ti的轴向变化做主观性描述如下：

　　对于16-20千赫频段，这个范围对于人的听觉来说，实际上已经听不到了，因为人的听觉频率上限是15.1千赫。而通过身体以及颅骨、头骨还将感知到有16-20千赫的频段声波使人的听觉脑区有所反应，音色的韵味和色彩以及感情味会受这段频率的影响。如果频率响应达不到这个区间的频段，则音色韵味可能减弱；反过来这频段如果过强，会给人以空幻、静谧以及不稳定的感觉，而基音的不谐和音频段多出现在这里。尽管在音色强度占比不大，但这频段却是音色表现力最突出的部分，而多数人却对它感觉不灵敏；对于12-16千赫频段，是高音乐器和高音打击乐器能表现各种乐器个性的高频泛音频段，既是人可以听到的高频波段，也是音色最具表现力的部分。这频段如果成分不足，则音色将会失去色彩和个性；而这频段如果成分过强，音色会产出现尖噪和高频噪声，那就需要衰减此频段；对于10-12千赫频段，是金属声强烈的乐器如高音管乐器和高音铜管乐器的高频泛音频段。这频段如果缺乏，则音色将会失去光泽和个性；这频段如果过强，会产生刺耳的尖噪；对于影响音色清晰度和透明度且s音非常明显的8-10千赫频段，这频段如果成分不足则音色会变得平淡、如果成分过多则音色变得尖锐；对于听觉敏感的6-8千赫频段，这频段影响音色的明亮度和清晰度，这频段如果成分不足则音色会变得暗淡、成分过强则音色会显得齿音严重；对于影响语音清晰度的5-6千赫频段，这频段如果成分不足则音色会表现得含糊不清，如果成分过强则音色变得尖锐、易产生疲劳感；对乐器表面响度有影响的4-5千赫频段，这频段如果成分幅度过大则响度就会提高、如果强度变小则会使人感觉距离变远、如果强度提高则会使人感觉距离变近；说说穿透力极强且人耳敏感的特殊频率4千赫，通常人耳的谐振频段为1-4千赫，如果频率成分过少则听觉能力变弱，说话声音会不清楚。如果成分过强则会产生咳声，例如电台频率选择不准时通常会发出的播音员咳音；对于2-3千赫频段，是声音明亮度敏感频段，成分丰富或不足，音色明亮度增强或朦朦胧胧；对于1-2千赫频段充分或不足，通透感明显或音色松散；乐音的基音大多在20-60Hz频段，频率表现充分或不足，会使人有种置身大厅之中的感受或音色变得空虚且严重影响语音的清晰度和可识度。

　　四、结语

　　1. 3D乐谱理论属于高维艺术的基础理论部分，是二维乐谱的升级版本，拥有更为复杂化的结构与音乐内涵。在简单记录音高、音长的基础上，增加了音色变量，方便记录更为复杂多样的多声部音乐。

　　2. 融入自然科学元素丰富了音乐学理论及表达方式，调整先易后难的思维方式，通过逆向处理及可视化分析使最后结果变得更简单。其后，又从另一视角加深了对音色概念的理解，通过实验给出了人的各种主观感受，从而对Ti轴上数据的分立式和连续式呈现的科学合理性有了更深入的了解。

　　3．呈现在3D乐谱中的立体图形，创造与之配套的新理论来分析音乐内容。人机共识、共享是技术关键，3D乐谱在人能读懂、会用并进行分析、创作的同时，智能机器也要会做这一切。即3D乐谱不仅要适用于人，也要适用于智能机器人。创造拥有自主知识产权的统一音乐记谱法与分析法，配套相关数据库与扫谱自动识别系统，以更为直观的方式解读音乐作品中的“细胞组织”。

　　4. 文化自信引领文化创新，创设中国记谱标准，乐谱记录的完备性和客观性就会得到加强，就不会因音乐家、演奏家的变化及时代的变迁而有实质性的改变，音乐文化的客观传承性和科学精准性以及可再现性从而得到保证。

　　基金项目：本文为2020年国家社会科学基金后期资助重点项目研究成果，项目名称“AI辅助下音乐高维化全景设计”，重点项目批准号：20FYSA003。

　　参考文献

　　[1] 张辉.3D乐谱会否掀起音乐革命，人民日报，2020.7.6；

　　[2] Miika K. etal,Three-Dimensional Score:Seeing Music,Hearing Sculptur,Proceedings of Bridges 2016:525；

　　[3] 盛葳.从视觉机器到人工智能[J].艺术工作,2018(02):27-30.

　　[4] 张辉.高维艺术的理论与应用，人民日报，2018.3.26；

　　[5] Berghaus etal,Some Ideas for Three-Dimensional Musical Scores,Res.Gat.2011:10；

　　[6] 张辉.高维乐谱学导论，科学出版社，2019.12.；

　　[7] 网络- http://blog.sina.com – 2017；

　　[8] 张辉.音乐层次的二维分析法创设[J].艺术教育，2018.9；

　　[9] 张辉.音乐作品二维图谱分析法创设与运用，科学出版社 2019.12；

　　[10]郑荔.泛媒时代下的新媒体艺术之变[J].艺术工作,2019(05):43.

　　[11]Zhang Hui.The Establishment and Theoretical Analysis of the Two-Dimensional Spectrum.CIES,2019.4；

　　[12]张辉.二维谱对位法：以赋格曲展开与再现为例[J].艺术教育，2018.12；

　　[13]Zhang Hui etal,The Superiority of Two-dimensional Spectrum in Polyphony Analysis.CIES,2019.4；

　　[14]孙洋.高维艺术理论与实践，中国社会科学出版社，2019.10.；

　　[15]薛舒阳.媒介融合下视觉艺术的创新[J].艺术工作,2019(04):104.

　　[16]张辉.音乐展开手法可视化特征二维图谱分析[J].艺术教育，2018.10；

　　[17]张辉.高维艺术学概论，科学出版社，2019.12.；

　　[18]张辉.专利名称：音色连续可调节乐器，发明专利申请号：202010548258.0；

　　[19]张辉.专利名称：3D乐谱建构方法，发明专利申请号：202010318807.5；

　　[20]张辉.专利名称：具有音色连续自动调节功能的打击乐器及音色连续自动调节的方法，发明专利申请号：202010796812.7；

　　[21]阎金铎;姜璐,崔华林．中国中学教学百科全书物理卷．沈阳出版社，1990.12。

　　【作者介绍】

　　张辉学术简历 

　　张辉，1982年毕业于大连理工大学应用物理专业获工学学士学位，2004年毕业于东北大学材料物理与化学专业获工学博士学位，2009年于英国牛津大学短期学习，博士生导师，二级教授，国家民委人文社会科学重点研究基地主任；国家百千万人才工程国家级人选；国家社科基金艺术学重大项目首席专家，国家863计划项目首席科学家；国家社科基金重点项目及教育部哲学社会科学研究重大项目主持人；国际杰青计划项目及国家科技著作出版基金项目负责人；国家科技奖评委，国家百千万人才工程评委，国家社科基金艺术学各级项目评委；艺术教育专家学术委员会委员；国务院特殊津贴获得者，全国优秀教师，全国优秀科技工作者；高维艺术和高维乐谱创始人。所带团队的学术研究领域呈N“+”智能形态：人工智能+大数据+高维艺术+高维乐谱+微观艺术+蛋白质视听同体艺术+文化创意+AI辅助艺术创作+软体乐器及新功能乐器参数化设计及智能制作等。

　　在国内外顶级期刊和报刊如Cell子刊Heliyon、人民日报以及J.Phys.、Sur.Phys.、艺术工作等发表学术论文300余篇；在国内顶级出版社如人民出版社、科学出版社及中国社会科学出版社等出版《高维艺术理论与实践》《高维艺术学概论》《高维乐谱学导论》《音乐作品二维图谱分析法创设与运用》《AI辅助下音乐高维化全景设计》《高维艺术与智能技术》《AI辅助蛋白质高维艺术构象研创》等学术著作20余部；主持国家社科基金艺术学重大项目、国家863计划项目、国家社科基金后期资助重点项目、教育部哲学社会科学研究后期资助重大项目、国际杰青计划项目、国家社科基金艺术学一般项目、国家自然科学基金面上项目、国家科技著作出版基金项目等10余项；获国家及省部级以上科研成果奖励和荣誉称号30余项；获国家发明专利30余项；获批如国家民委人文社会科学重点研究基地等省部级科研团队和科研平台近10余个。培养国际杰青、博士及硕士研究生20余名。