Whisperを試す
2022/9/23
Colabで試せるけどオーディオのアップがメンドクサイ。macでやってみる
インストール
zshbrew install ffmpeg
# cloneしたリポジトリのrootで
python3 -m venv env
source env/bin/activate
pip setup.py install
ModuleNotFoundError: No module named 'setuptools_rust'
# なんで〜!
pip install setuptools_rust
# もう一回
pip setup.py install
# 通った
actual: NFTアートは複製できないアートのことなのだ
zshwhisper 001_ずんだもん.wav --language Japanese
The cache for model files in Transformers v4.22.0 has been updated. Migrating your old cache. This is a one-time only operation. You can interrupt this and resume the migration later on by calling `transformers.utils.move_cache()`.
# 461MBのモデルのダウンロードが始まる...
[00:00.000 --> 00:02.660] NFTアートは複製できないアートのことなのだ
これぐらい綺麗だと完璧
例えばVTuberの配信は背景音が入っているので結構難しい印象があるが、確認してみたら多少の背景音程度ではrobustだったので差異がわからなそうだった
実験2. 歌
歌は背景音が大きいし、メロディに合わせて言葉を載せるので話し言葉とは全然違い、難しい印象がある
前半は結構いい(冒頭に謎の誤認識がある)
ここが変
「8月のある朝」が「八月のあるアルワイト」
クスッとした
「はにかんではすましてみせた」が「はにかんではすましてミスター」
後半は音声がループしてておかしい。計算が狂っているか音声がちゃんと処理されていない印象
一番最後はあってる
結果がstreamで吐き出されるのいい
途中経過がわかりやすい
YouTubeの翻訳は日本語のラップを全く認識しない

翻訳結果[00:00.000 --> 00:04.800] 先行 リョーカルマー コーコー アウソリティ レディ ファイ
[00:06.100 --> 00:09.000] 結晶で会えるといいと思ってた アウソリティと
[00:09.000 --> 00:12.400] こんなとこで会うことになる ターナ ワカメナ
[00:12.400 --> 00:15.300] パーマーじゃなくて やなさけの上でやるだけ
[00:15.300 --> 00:20.300] 頭 花畑 咲いた花 お前がはちらした花 一瞬で散らす
[00:20.300 --> 00:25.000] 女装 財布にまえて青森 真っ黒にしてある 覚悟し時計や
[00:25.000 --> 00:29.700] 今日は俺がチャレンジャー めちゃ前者 めっちゃ危ねえ わかってんか
[00:29.700 --> 00:35.000] 今日は俺が挑戦者 挑戦者 わかってんか 俺は危ねえな
[00:35.000 --> 00:39.400] いつも上から目線だけど 今日は下からえぐり上げて行く
[00:39.400 --> 00:44.400] この後に守ってる先輩に ボリファスインドを渡しに行く
[00:44.400 --> 00:48.000] なんでそんなこと言うの なんでそんなひどいことをするのって
[00:48.000 --> 00:50.700] ここはバトルの現場だよ わかってんか バーカー
[00:50.700 --> 00:54.900] 甘えてる奴らには容赦しねえぞ 奥さん年中と違う
[00:54.900 --> 00:57.900] 下ネタを使わなくても 首を刺したおばすだけだ
[00:57.900 --> 01:03.100] 女でも容赦しない エースがやってたイベントだぜ わかってんか ここは
[01:03.100 --> 01:07.400] お前アイドルで活性で 飯食ってきたくせに 無価するとはなった
[01:07.400 --> 01:13.100] 俺はランパーって言われたって 平気だって ラップで活性で来た 飯で食ってくからな
[01:13.100 --> 01:18.000] 暴力ふるうったって ガンジャースったって ステージに上がれるのが ランパーがわかるか
[01:18.000 --> 01:23.600] 司会者は別だぜ だがランパーにはタブはねえんだよ バーカーが
[01:23.600 --> 01:28.300] 俺がしがみついてんのか 俺の後についてきてんのか
[01:28.300 --> 01:33.100] その判断もつかない奴が 何でかい口叩いてんだ
[01:33.100 --> 01:38.100] 一度やめて戻ってきた奴にも 一数を用意してやってんのは
[01:38.100 --> 01:42.200] 俺たちが血と汗を流して 守ってきたからだろ
[01:42.200 --> 01:47.000] 片葉小説3本が超距離って 体力なさすぎ
[01:47.000 --> 01:51.700] お前単距離って そんなボソボソが スピードならば遅すぎ
[01:51.700 --> 01:56.700] 俺はもっと速い所にいるから お前もう届かない 残念
[01:56.700 --> 02:01.100] もう一回やり直して来なきゃ また来年に期待するか 残念
[02:01.100 --> 02:05.800] 吐き出した感謝は言ったまんま 一度吐き出したら後はねえ
[02:05.800 --> 02:10.400] 俺は背中にリスペクト信用 期待受けて振り返らねえ
[02:10.400 --> 02:15.500] 先行くから風が当たる 矢を持てに立つ恋心のつぶても喰らう
[02:15.500 --> 02:20.500] だけど日々の一つのハイラーネ 光鉄の心臓とスキル言うの
[02:20.500 --> 02:23.500] 分かるよ そう思うやんね みんながそうやって思って
[02:23.500 --> 02:26.800] ここのステージに立ってる でも運命ってやつはあるってこと
[02:26.800 --> 02:31.200] 俺は知ってる 俺の上に輝いてる 一番星 お前見えてるぜ
[02:31.200 --> 02:34.700] 主張生 ここで主張生よ お前の言葉でやっていこう
[02:34.700 --> 02:37.500] 出張してきたんだろう 坂からわざわざ
[02:37.500 --> 02:41.100] 俺のインドをもらうよ 意味わからん 俺にインドを渡すならいいけど
[02:41.100 --> 02:44.600] お前がもらうんか お前がやめるんか こんなどうぞ 誰も当面
[02:44.600 --> 02:48.500] お前の背中をしたるから 当人房から大分どうぞ
[02:48.500 --> 02:52.500] 俺は相当起きてる頭の中 後ろのあの嘘つきをぶっ倒すためだ
[02:52.500 --> 02:55.000] お前じゃねえ どいとけ ハンサムとか言ってるけど
[02:55.000 --> 02:57.700] お前のツライ イケたに雪をだな
[02:57.700 --> 03:00.900] パタパタ当分じゃねえ 超はフワリ フワリだぜ
[03:00.900 --> 03:03.100] それも分かってないの 頭割り
[03:03.100 --> 03:09.000] そこに財布 そこにジャケット キット サングラスで魔法人完成
[03:09.000 --> 03:12.800] 完璧だぜ 俺の描いた手のひらの上で踊ってら
[03:12.800 --> 03:16.500] お前ら見てみ これがファンタスティックマジックヒンポップラップ
[03:16.500 --> 03:18.500] お前の心に刻むぜ
[03:18.500 --> 03:22.300] はっきり言っとく 地元から出ないのはダッセージゾ
[03:22.300 --> 03:26.200] はっきり言っとく 俺は今だに地元に暮らしながら
[03:26.200 --> 03:31.300] 全国に呼ばれて飛び回ってる 外で稼いだ金を地元で使う
[03:31.300 --> 03:36.500] 地元で宇宙寺しているのとは違う レペゼンの意味 完全に把握違えてる
[03:36.500 --> 03:38.800] お前ら騙されんなこのおっさんに
[03:39.800 --> 03:41.300] せーのーです
[03:41.300 --> 03:44.200] よくわかんねえ お前に勝てんのはお前だけ
[03:44.200 --> 03:48.400] でも俺お前に何回も勝ってんだけど ってことは俺はお前で
[03:48.400 --> 03:51.700] お前は俺でワフわかんねえことを言ってんじゃねえよ
[03:51.700 --> 03:54.600] 死に滅烈 ブロウガドウ インガドウ
[03:54.600 --> 03:56.900] 声とか言ってるからそう 言うことになる
[03:56.900 --> 03:59.500] 俺のアーソールでもよくオガンドキな
[03:59.500 --> 04:02.700] 言葉の意味ってやつを大事にしなくちゃな
[04:02.700 --> 04:07.500] 今が踏んだしないわ インガ 死んじゃったら仕方がないな
[04:07.500 --> 04:13.000] インは貴重だ 尊いだ 無駄遣い スーナークソガギに教えてやるか
これはすごい
