2021-10-18 09:31:23 yt-dpl docker に変更
正常動作しているようです。
[debug] yt-dlp version 2021.10.10 (zip)
[debug] Python version 3.7.10 (CPython 64bit) - Linux-4.4.0-210-generic-x86_64-with
[debug] exe versions: ffmpeg 4.1.6, ffprobe 4.1.6
[debug] Optional libraries: sqlite\r\n[debug] ANSI escape support: stdout = False, stderr = False
[debug] Proxy map: {}
yt-dlp is up to date (2021.10.10)\r\n"
早速Dockerイメージを作った人がいたようです。
podsync のforkですね。
docker pull ghcr.io/fqx/podsync-with-yt-dlp:latest
Status: Downloaded newer image for ghcr.io/fqx/podsync-with-yt-dlp:latest
docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
ghcr.io/fqx/podsync-with-yt-dlp latest dd2afa4b79ff 47 hours ago 127MB
run.shを変更
docker run \
-p 8088:8088 \
-v $(pwd)/data:/app/data/ \
-v $(pwd)/config.toml:/app/config.toml \
ghcr.io/fqx/podsync-with-yt-dlp:latest
いつまで大丈夫か分かりませんが、とりあえずこれで解決しました。
2021-10-14 16:18:45 youtube-dlデバッグ中
ダウンロードしなおし。今回は80.27KiB/s 遅いけどちょっと速度アップした。
[download] 3.3% of 398.08MiB at 80.27KiB/s ETA 01:21:50
[download] 83.1% of 398.08MiB at 80.30KiB/s ETA 14:16
なるほど８３％の時点ですでに１時間超えている。これは流石にダメだな。
2021-10-14 11:10:15 エラー修正できないので継続対応
テスト系でダウンロードできるかテスト。Virtualbx Ubuntu内で実行。
１１：１３開始。環境はモバイルポイントなので通信速度は結構遅い状態。
しかし遅すぎる。
youtube-dl https://yotubeURL -f "bestvideo[ext=mp4]+bestaudio[ext=m4a]/best[ext=mp4]"
[youtube] DjqY-43cyms: Downloading webpage
[download] Destination: xxxxxxxxxxxxxxx -xxxxxxx.f299.mp4
[download] 2.6% of 398.08MiB at 62.35KiB/s ETA 01:46:06
[download] 42.2% of 398.08MiB at 16.17KiB/s ETA 04:02:55
[download] 56.7% of 398.08MiB at 62.75KiB/s ETA 46:54
[download] 100% of 398.08MiB in 02:01:12
Destination: xxxxxxx..f140.m4a遅いです。
Twitterを検索して、
youtube-dl が遅い。
yt-dlp に移行と言う流れなのかもしれない。
なので、yt-dlp でのダウンロード速度を比較してみるかもしれない。
CPU使用率などを見てもそこまで高いわけで無い気がしますので。
f299の方は 13:15分ごろ終わったので、
２時間くらいかかったことになります。
417MB.４６分の動画です。
.f140の方は続けてDLが始まっています。こちらは早い。
[download] 30.2% of 43.10MiB at 63.34KiB/s ETA 08:06^C
[download] 43.4% of 43.10MiB at 63.43KiB/s ETA 06:33^C
実運用サーバー側で実行
[download] 2.1% of 398.08MiB at 56.75KiB/s ETA 01:57:14矢張り遅い。と言っても通信速度やマシンスペックの問題ではなさそうだ。
単純にyoutube-dlがめちゃくちゃ遅いのではなかろうか？？？
podsync.log を確認。
ログの日付表記が分からないので変換。日付コンバート
2021-10-13T20:52:21Z
は、
2021年10月14日 木曜日 05時52分21秒
これが開始時間。
2021-10-14T02:10:42Zなので、
2021年10月14日 木曜日 11時10分42秒
これが現在のログの最後。ほぼ直近の時間までダウンロードが続いているわけです。
以前のログから、
[download] 4.7% of 804.44MiB at 43.41KiB/s ETA 05:01:20といことなので、43.41KiB/s もっと遅い。原因はダウンロード速度が遅すぎるせいなのは明確だ。
2021-10-13 06:23:06 ダウンロードエラー対応しないといけない
level=error msg="youtube-dl error: /tmp/podsync-441242477/xxxxxxx.%(ext)s" error="failed to execute youtube-dl: signal: killed"このエラーは１０月７日から出ているので、少なくともアップデートしてからずっとダウンロードが不調のようです。
とりあえず動作versionを元に戻しています。
mxpv/podsync:v2.0_20210524
あと、新たに追加したエピソードをいくつかコメントアウトしています。
要は以前と同様の設定で正常にダウンロードできるかテストしてみます。
タイムアウトの問題？これかな？？
timeout = 15 # Timeout in minutes
なるほどこれか。
確かに１５分でエラーになっている。
しかし恐ろしくダウンロードに時間がかかっているんだな。
timeout = 60 # Timeout in minutes
とりあえずタイムアウトを６０分に。
かつ、大抵のものは４８時間ごとに更新にした。
つまり一日一回だから、再起動の時だけ自動的に更新される。
なので、起動するのはlatestに戻した。
mxpv/podsync:latest
\r[download] 4.7% of 804.44MiB at 43.41KiB/s ETA 05:01:20
\r[download] 4.7% of 804.44MiB at 43.44KiB/s ETA 05:01:07
\r[download] 4.7% of 804.44MiB at 43.46KiB/s ETA 05:00:58
\r[download] 4.7% of 804.44MiB at 43.46KiB/s ETA 05:00:57"
2021年10月7日
Podsync結構ダウンロード失敗しますね。
私の環境が不安定のせいかもしれませんが。
とりあえず最新版、latestにアップデートしてみることにします。
以前はpodsyncのコンテナの中のyoutube-dlだけを更新しましたが、必要なかったかもしれません。
run.sh
テスト系、本番系ともこうなってあえて昔のバージョンで動かしていました。
mxpv/podsync:v2.0_20210524
#mxpv/podsync:latest
-v $(pwd)/config.toml:/app/config.toml \
mxpv/podsync:latest
#mxpv/podsync:v2.0_20210524
これのコメントアウトの位置を変更します。
mxpv/podsync:latest
#mxpv/podsync:v2.2
#mxpv/podsync:v2.0_20210524
latestで動かすわけです。
vi config.toml
logの項目
[log]
filename = "/opt/lampp/htdocs/personal/podsync/podsync.log"
max_size = 50 # MB
max_age = 30 # days
max_backups = 7
compress = true
filename = “data/podsync.log”
これ変更。logの位置がおかしかった。dataの下に出れば問題ない。
本番系でもこれに変更します。
docker image の確認。
docker image ls
REPOSITORY TAG IMAGE ID CREATED SIZE
mxpv/podsync v2.0_20210524 28a9e7f89797 4 months ago 110MB
mxpv/podsync latest 01d553588aaa 11 months ago 107MB
一応、更新します。
docker pull mxpv/podsync:latest
latest: Pulling from mxpv/podsync
Digest: sha256:30b3a1a15d2ed4ed4ceaa0cc99213b4ff1eff40ebef7b734e84a50abe51392c7
Status: Image is up to date for mxpv/podsync:latest
docker.io/mxpv/podsync:latest
本番系再起動。動作確認。
data/podsync.logができていることを確認済み。
ログを見るとダウンロードは正常に進行しているようでした。
PodcastのURLにもアクセスできるようでした。
アップデート完了！これでしばらく動作の安定性をチェックしていく事になります。