ピアノ演奏から自動で楽譜作成、世界初「実用に近いレベル」に 京大

ピアノ演奏の音声から自動で楽譜を書き起こす（採譜する）技術を、世界で初めて実用に近いレベルに高めた、と京都大学の研究グループが発表した。機械学習を独自に応用して実現した。ピアノは人気が高い楽器だが音が複雑で、自動採譜が特に困難とされてきた。情報や知能の研究と芸術分野を融合し、音楽文化に貢献する成果という。

世界に広く普及したピアノは長年、自動採譜研究の関心の的となってきた。ただ例えば、両手の指で演奏して複数の高さの音が同時に続く「多重音高」のため、一つ一つの音の聞き分けは特に難しい。ピアノで高精度の採譜が実現すれば、手法をさまざまな楽器に応用する道が開けると考えられる。

そこで研究グループは機械学習を活用し、次の2つの手法を統合したピアノの自動採譜システムを開発した。（1）各時点の音の高さや強さ、打鍵の有無を推定するため、この分野で編み出されてきた複雑な計算モデルに独自の改良を加え、精度を高めた。これにより「会議で複数人が同時に話す声を認識するような問題を解いた」（研究グループ）。

また（2）既存のさまざまな音楽に頻出するリズムの傾向を、統計解析をした上で学習。演奏者特有のテンポの揺れや和音のばらつきなどがあってもリズムを認識し、整った楽譜ができるようにした。

これら2手法の統合は、従来は困難だったという。さらに曲を局所的に捉えるだけでなく、Aメロ、Bメロ、サビのような曲の中の大局的な構造も考慮し、拍子や小節線の位置などの推定の精度を高めた。一連の工夫の結果、採譜の誤りが従来に比べ半減。「ピアノを弾く多くの人が使えることに同意した」（同）、実用に近いレベルの楽譜が実現した。

今後はさらに多くのデータによる機械学習で精度を高めるほか、強弱記号や装飾記号など、より細かい要素の認識も目指す。歌声、ギターやドラムなどにも応用でき、多様な楽器編成の曲の自動採譜にもつながると期待される。

研究グループの京都大学白眉センターの中村栄太特定助教（情報学）は「数十年来の課題だったが、部分的に実用レベルを達成したのは画期的。実用化すればネット上の音声から楽譜を生成して手軽に練習できるなどして、音楽文化を豊かにするだろう」と述べている。一方、著作権上の問題や、専門家らの収入源である採譜の仕事が減るといった課題が生まれる恐れもあり「健全な発展に向け、法整備や技術の社会実装についての議論が必要だ」と提起する。

成果は米国の情報科学誌「インフォメーションサイエンシズ」電子版に3月13日に掲載され、京都大学が6月15日に発表した。研究は日本学術振興会科学研究費助成事業、科学技術振興機構（JST）戦略的創造研究推進事業などの支援を受けた。

https://news.mynavi.jp/article/20210623-1909061/

MIDIが何のためにあるのか解ってない馬鹿の集団

こりゃ便利