・Specmurt 法による多声音楽信号からの MIDI 変換
　Specmurt と呼ぶ新概念を案出し、実験を通して、多数のピッチを含む音楽信号のピッチを抽出することができることを確かめた。これにより MIDI信号に自動あるいは半自動で変換し、楽器変換、音色変換、速度変換、和声組み換え、旋律加工などの加工が容易に行える。

・Harmonic Clustering 法による多重ピッチ解析
　上記と補完し合う技術として、極めて分解能が高い多重ピッチ抽出法として Harmonic Clustering 法を提案した。これにより、従来不可能であった和音を構成するビブラートつきの構成音を分離、周波数推定、音色(調波構造)推定、MIDI 変換などが可能である。また、非調和な楽音(ピアノなど) も扱える。MIDI に変換した後は、前項のような様々な加工ができる。

・テキストからの歌声の生成
　HMM 音声合成法を用いて、歌詞つきの楽譜からそれを歌う音声を合成することができる。

・自動和声づけ
　与えられた旋律に対し、(尤度の意味で)最適な和声を自動的に付与する手法を開発した。基本的なアイディアは、音声認識とのアナロジーにより、和声を隠れ状態として音楽を HMM によりモデル化し、Viterbi 経路探索により、尤度最大の和声系列を求めるものである。この技術には、転調の検出、転調に即した和声づけなども含まれる。

・リズム認識とMIDI信号からの自動採譜
　音声認識の手法を用いて、MIDI 信号(Specmurt法などにより音響信号から変換されたMIDI信号も含む) から、各音符長を決定し、楽譜に変換する。この問題は、従来、量子化(クオンタイズ)の問題とされて来て、個々の音長を最も合致する音符に変換して来た結果、緩急をもつ芸術的な演奏の楽譜化は不可能であった。そこに音声認識の言語モデルと音響モデルの考え方を、楽譜リズムモデルと音長変動モデルに対応させて、新しい手法を開発した。この方法により、３拍子系と２拍子系(４拍子を含む)の区別、小節線の位置の推定、テンポの変動への追従などが可能になり、この分野の技術が大きく進歩した。この技術を用いて、音楽データベース構築、MIDIキーボード入力での音楽検索、楽譜浄書、自動和声づけなどの前処理などを行なう。

・自動対位法技術
　音楽編曲では、和声づけだけでは不十分であり、特にクラシック音楽風の編曲では、与えられた旋律に対してよい響きを持つ「対旋律」を作る必要がある。この技法は対位法と呼ばれ、音楽大学などで講義されるが、これを自動化する試みはまだ殆んどなされていなかった。われわれは、音声認識で用いられる動的計画法と確率論を用いて、その技術を開発した。この技術は、与えられた旋律に対し、単なるコードづけ以上の、音楽的な編曲を行う技術として利用できる。

(2) 音声認識、音声分析合成、音声信号処理、マイクロフォンアレイ

・雑音中の音声認識
　雑音中では音声認識性能が著しく低下する。これに対処するために、音声モデルを雑音に適応させる手法があり、ＰＭＣ法やヤコビ適応法などがある。我々はさらに性能を向上させられる手法を達成した。

・マイクロフォンアレイによる雑音除去の新原理ＣＳＣＣ法
　マイクロフォンアレイ入力に対し、複素スペクトル領域で幾何学的な方法により、移動する雑音、非定常な雑音(妨害音声など)などに対処できる、学習不要な雑音除去技術ＣＳＣＣ法(複素スペクトル円心法)を開発した。これにより目的音声のＳＮを向上させられるばかりでなく、音声認識性能も飛躍的に向上できた。

(3) 手書き文字認識、数式認識

　音声認識の手法を用いることにより、かなり崩れた手書き文字のオンライン認識が可能になった。さらに、オンライン手書き数式認識の研究を進めており、手書きで数式を書いて、文書作成ソフトなどに挿入することができる。

(4) 音声対話擬人化エージェント、ヒューマンインタフェース、対話システム