generated at
Whisperを試す
2022/9/23
Whisperを試す
Colabで試せるけどオーディオのアップがメンドクサイ。macでやってみる
インストール
zsh
brew install ffmpeg # cloneしたリポジトリのrootで python3 -m venv env source env/bin/activate pip setup.py install ModuleNotFoundError: No module named 'setuptools_rust' # なんで〜! pip install setuptools_rust # もう一回 pip setup.py install # 通った


actual: NFTアートは複製できないアートのことなのだ
zsh
whisper 001_ずんだもん.wav --language Japanese The cache for model files in Transformers v4.22.0 has been updated. Migrating your old cache. This is a one-time only operation. You can interrupt this and resume the migration later on by calling `transformers.utils.move_cache()`. # 461MBのモデルのダウンロードが始まる... [00:00.000 --> 00:02.660] NFTアートは複製できないアートのことなのだ
これぐらい綺麗だと完璧


Google Cloud Speech-to-Text APIは有能なので、それで処理できていないようなものができるのか試したいけど、使い倒していないので知見がない
例えばVTuberの配信は背景音が入っているので結構難しい印象があるが、確認してみたら多少の背景音程度ではrobustだったので差異がわからなそうだった

実験2. 歌
歌は背景音が大きいし、メロディに合わせて言葉を載せるので話し言葉とは全然違い、難しい印象がある
基素
前半は結構いい(冒頭に謎の誤認識がある)
ここが変
「8月のある朝」が「八月のあるアルワイト」
クスッとした
「はにかんではすましてみせた」が「はにかんではすましてミスター」
後半は音声がループしてておかしい。計算が狂っているか音声がちゃんと処理されていない印象
一番最後はあってる
結果がstreamで吐き出されるのいい
途中経過がわかりやすい

実験3. ラップ。YouTubeの翻訳(おそらくGoogle Cloud Speech-to-Text API)が役に立たないケース
YouTubeの翻訳は日本語のラップを全く認識しない
翻訳結果
[00:00.000 --> 00:04.800] 先行 リョーカルマー コーコー アウソリティ レディ ファイ [00:06.100 --> 00:09.000] 結晶で会えるといいと思ってた アウソリティと [00:09.000 --> 00:12.400] こんなとこで会うことになる ターナ ワカメナ [00:12.400 --> 00:15.300] パーマーじゃなくて やなさけの上でやるだけ [00:15.300 --> 00:20.300] 頭 花畑 咲いた花 お前がはちらした花 一瞬で散らす [00:20.300 --> 00:25.000] 女装 財布にまえて青森 真っ黒にしてある 覚悟し時計や [00:25.000 --> 00:29.700] 今日は俺がチャレンジャー めちゃ前者 めっちゃ危ねえ わかってんか [00:29.700 --> 00:35.000] 今日は俺が挑戦者 挑戦者 わかってんか 俺は危ねえな [00:35.000 --> 00:39.400] いつも上から目線だけど 今日は下からえぐり上げて行く [00:39.400 --> 00:44.400] この後に守ってる先輩に ボリファスインドを渡しに行く [00:44.400 --> 00:48.000] なんでそんなこと言うの なんでそんなひどいことをするのって [00:48.000 --> 00:50.700] ここはバトルの現場だよ わかってんか バーカー [00:50.700 --> 00:54.900] 甘えてる奴らには容赦しねえぞ 奥さん年中と違う [00:54.900 --> 00:57.900] 下ネタを使わなくても 首を刺したおばすだけだ [00:57.900 --> 01:03.100] 女でも容赦しない エースがやってたイベントだぜ わかってんか ここは [01:03.100 --> 01:07.400] お前アイドルで活性で 飯食ってきたくせに 無価するとはなった [01:07.400 --> 01:13.100] 俺はランパーって言われたって 平気だって ラップで活性で来た 飯で食ってくからな [01:13.100 --> 01:18.000] 暴力ふるうったって ガンジャースったって ステージに上がれるのが ランパーがわかるか [01:18.000 --> 01:23.600] 司会者は別だぜ だがランパーにはタブはねえんだよ バーカーが [01:23.600 --> 01:28.300] 俺がしがみついてんのか 俺の後についてきてんのか [01:28.300 --> 01:33.100] その判断もつかない奴が 何でかい口叩いてんだ [01:33.100 --> 01:38.100] 一度やめて戻ってきた奴にも 一数を用意してやってんのは [01:38.100 --> 01:42.200] 俺たちが血と汗を流して 守ってきたからだろ [01:42.200 --> 01:47.000] 片葉小説3本が超距離って 体力なさすぎ [01:47.000 --> 01:51.700] お前単距離って そんなボソボソが スピードならば遅すぎ [01:51.700 --> 01:56.700] 俺はもっと速い所にいるから お前もう届かない 残念 [01:56.700 --> 02:01.100] もう一回やり直して来なきゃ また来年に期待するか 残念 [02:01.100 --> 02:05.800] 吐き出した感謝は言ったまんま 一度吐き出したら後はねえ [02:05.800 --> 02:10.400] 俺は背中にリスペクト信用 期待受けて振り返らねえ [02:10.400 --> 02:15.500] 先行くから風が当たる 矢を持てに立つ恋心のつぶても喰らう [02:15.500 --> 02:20.500] だけど日々の一つのハイラーネ 光鉄の心臓とスキル言うの [02:20.500 --> 02:23.500] 分かるよ そう思うやんね みんながそうやって思って [02:23.500 --> 02:26.800] ここのステージに立ってる でも運命ってやつはあるってこと [02:26.800 --> 02:31.200] 俺は知ってる 俺の上に輝いてる 一番星 お前見えてるぜ [02:31.200 --> 02:34.700] 主張生 ここで主張生よ お前の言葉でやっていこう [02:34.700 --> 02:37.500] 出張してきたんだろう 坂からわざわざ [02:37.500 --> 02:41.100] 俺のインドをもらうよ 意味わからん 俺にインドを渡すならいいけど [02:41.100 --> 02:44.600] お前がもらうんか お前がやめるんか こんなどうぞ 誰も当面 [02:44.600 --> 02:48.500] お前の背中をしたるから 当人房から大分どうぞ [02:48.500 --> 02:52.500] 俺は相当起きてる頭の中 後ろのあの嘘つきをぶっ倒すためだ [02:52.500 --> 02:55.000] お前じゃねえ どいとけ ハンサムとか言ってるけど [02:55.000 --> 02:57.700] お前のツライ イケたに雪をだな [02:57.700 --> 03:00.900] パタパタ当分じゃねえ 超はフワリ フワリだぜ [03:00.900 --> 03:03.100] それも分かってないの 頭割り [03:03.100 --> 03:09.000] そこに財布 そこにジャケット キット サングラスで魔法人完成 [03:09.000 --> 03:12.800] 完璧だぜ 俺の描いた手のひらの上で踊ってら [03:12.800 --> 03:16.500] お前ら見てみ これがファンタスティックマジックヒンポップラップ [03:16.500 --> 03:18.500] お前の心に刻むぜ [03:18.500 --> 03:22.300] はっきり言っとく 地元から出ないのはダッセージゾ [03:22.300 --> 03:26.200] はっきり言っとく 俺は今だに地元に暮らしながら [03:26.200 --> 03:31.300] 全国に呼ばれて飛び回ってる 外で稼いだ金を地元で使う [03:31.300 --> 03:36.500] 地元で宇宙寺しているのとは違う レペゼンの意味 完全に把握違えてる [03:36.500 --> 03:38.800] お前ら騙されんなこのおっさんに [03:39.800 --> 03:41.300] せーのーです [03:41.300 --> 03:44.200] よくわかんねえ お前に勝てんのはお前だけ [03:44.200 --> 03:48.400] でも俺お前に何回も勝ってんだけど ってことは俺はお前で [03:48.400 --> 03:51.700] お前は俺でワフわかんねえことを言ってんじゃねえよ [03:51.700 --> 03:54.600] 死に滅烈 ブロウガドウ インガドウ [03:54.600 --> 03:56.900] 声とか言ってるからそう 言うことになる [03:56.900 --> 03:59.500] 俺のアーソールでもよくオガンドキな [03:59.500 --> 04:02.700] 言葉の意味ってやつを大事にしなくちゃな [04:02.700 --> 04:07.500] 今が踏んだしないわ インガ 死んじゃったら仕方がないな [04:07.500 --> 04:13.000] インは貴重だ 尊いだ 無駄遣い スーナークソガギに教えてやるか
これはすごい基素