Real-time Audio Classifier
リアルタイムにオーディオを分類する。
周波数をもとに似た帯域の音(鳥、ギター、歌声など)をランキングする方式と、mediapipeの音声分類器による推論をTouchDesignerで動かしている。
mediapipeバージョン
参考:Yamnet モデルが採用されている。Yamnet モデルは、AudioSet データセットでトレーニングされた音声イベント分類システム
ResNet18で自作したバージョン
ESC-50で学習させたResNet18ベースのモデル。
