本文へスキップ

Real-time Audio Classifier

2024.12
周波数帯域のランキングと、YAMNet・ESC-50学習のResNet18による分類をTouchDesignerで動かす

リアルタイムにオーディオを分類する。
周波数をもとに似た帯域の音(鳥、ギター、歌声など)をランキングする方式と、mediapipeの音声分類器による推論をTouchDesignerで動かしている。

mediapipeバージョン

参考:Yamnet モデルが採用されている。Yamnet モデルは、AudioSet データセットでトレーニングされた音声イベント分類システム

ResNet18で自作したバージョン

ESC-50で学習させたResNet18ベースのモデル。

resnet

参考:ViT、スペクトグラム画像を用いて、音声の分類タスクを訓練しているモデル