Files

292 lines
13 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# H3 Continuum A/B実機テスト記録
更新日: 2026-08-13
状態: 継続中。現時点の結果であり、最終推奨ではない。
## 1. 目的
H3 Continuumの3×5秒生成について、次を分離して評価する。
- 解像度とチャンク累積による顔・肌・Identity drift
- Spectrumの速度向上とSeed依存のForecast誤差
- WarmupとContinuum Actual Prefixの組み合わせ
- Seam Correction Off/Autoの映像・音声境界への効果
- 無音に近い条件と明確な歌唱・発話条件の違い
MP4本体は現時点ではGitへ追加しない。各番号はローカル出力ファイル名の末尾番号に対応する。
## 2. 主なテスト環境
```text
GPU RTX 5060 Ti 16GB
System RAM 64GB
Output 640×960 / 24fps / 15秒 / 360 frames
Image scale area / 0.60MP / resolution_steps 32
Chunks 3
Chunk seconds 5.0
Continuity Balanced — 22 frames
SageAttention sageattn_qk_int8_pv_fp8_cuda++
Sol-Attn なし
Audio continuity true
Exact total duration true
Diagnostics Basic
```
Spectrum ON時の主要設定:
```text
blend_weight 0.5
degree 1
ridge_lambda 0.1
window_size 2.0
flex_window 0.75
tail_actual_steps 1
max_history 8
history_storage system_ram
bootstrap_first_forecast true
anchor_residual_feedback false
selective_rollback_correction false
offline_smoothing_replay true
audio_blend_weight 0.0
```
## 3. 暫定実用設定
品質最優先ではなく、約31%の時間短縮を取る実用バランス設定として扱う。
```text
Spectrum On
Warmup 2
Actual Prefix 2
Continuity Balanced 22
Seam Off
```
注意: Seed 1235でSpectrum ON時の明確な画質崩れを確認しているため、全Seedで安定する設定ではない。
## 4. 解像度・チャンク比較
| 動画 | 解像度 | 尺 | 所見 |
|---|---:|---:|---|
| 00032 | 448×672、約0.3MP | 15秒 | 低解像度では肌・顔の微細なdriftが目立ちにくい |
| 00033 | 576×896、約0.5MP | 15秒 | 比較的安定 |
| 00034 | 576×896、約0.5MP | 5秒 | 単チャンクは安定 |
| 00035 | 640×960、約0.6MP | 5秒 | 0.6MP単独では大きな破綻なし |
| 00036 | 640×960、約0.6MP | 15秒 | 後続チャンクほど肌の変化が見えやすい |
暫定解釈: 0.6MPそのものより、Continuationで小さな誤差が次チャンクへ累積し、高解像度で可視化される可能性が高い。
## 5. Warmup比較
| 動画 | Warmup | 所見 |
|---|---:|---|
| 00038 | 1 | プッシュインあり。境界フリックは比較的目立たない |
| 00039 | 3 | 6秒台以降に顔の暗転・粗れが発生し、重大な破綻 |
| 00040 | 3 | 重大破綻は再現せず、軽い肌drift。結果の振れが大きい |
| 00041 | 2 | Seed 1234、Spectrum ON、Seam Off。全体として良好 |
暫定解釈:
- Warmup 3は結果が不安定なため不採用。
- Warmup 2はWarmup 3より安全だが、Spectrumの全Seed安定性は保証しない。
- Continuation chunkではActual Prefix 2が先頭2stepをActualへ要求する。
## 6. 厳密または準厳密なA/B比較
境界比は、境界の隣接フレームMAEを周辺の通常フレーム間MAE中央値で割った参考値。1未満なら境界変化が周辺動作より小さい。
### 6.1 Spectrum ON/OFF、Seed 1234
| 動画 | Spectrum | Warmup | Seam | 所見 |
|---|---|---:|---|---|
| 00041 | ON | 2 | Off | 良好。音声はほぼ無音、RMS約-63.7dBFS |
| 00045 | OFF | 無効 | Off | 良好。00041と視覚的にかなり近い |
Seed 1234ではSpectrum ONでもNativeに近い結果を維持した。
### 6.2 Spectrum ON/OFF、Seed 1235
| 動画 | Spectrum | Warmup | Seam | 5秒比 | 10秒比 | 所見 |
|---|---|---:|---|---:|---:|---|
| 00042 | ON | 2 | Off | 1.392 | 1.810 | Clip 1途中で服色変化。Clip 3で顔に強い斑点と肌崩れ |
| 00047 | OFF | 無効 | Off | 0.909 | 0.904 | 服色、肌、Identityを維持 |
確定事項:
- Seed 1235自体はNative生成で正常。
- 00042の崩れはSpectrumとSeed 1235の組み合わせで発生した可能性が高い。
- Seam CorrectionではClip内部のSpectrum Forecast誤差を修正できない。
### 6.3 Seam Auto/Off、Seed 1237
| 動画 | Spectrum | Warmup | Seam | 5秒比 | 10秒比 | 所見 |
|---|---|---:|---|---:|---:|---|
| 00044 | ON | 2 | Auto | 0.570 | 0.248 | 良好。Autoによる不自然な色変化なし |
| 00046 | ON | 2 | Off | 0.564 | 0.333 | 良好。Auto版と視覚差は非常に小さい |
確定事項:
- 無音に近い映像ではAutoの視覚的効果は小さい。
- Autoは10秒境界をわずかに平滑化したが、Offでも十分安定。
- 現時点ではOffを映像品質の基準とする。
## 7. Seed耐性
| Seed | Spectrum | Warmup | Seam | 動画 | 判定 |
|---:|---|---:|---|---|---|
| 1234 | ON | 2 | Off | 00041 | 良好 |
| 1234 | OFF | 無効 | Off | 00045 | 良好 |
| 1235 | ON | 2 | Off | 00042 | 失敗 |
| 1235 | OFF | 無効 | Off | 00047 | 良好 |
| 1236 | ON | 2 | Auto | 00043 | 許容。カメラ動作が強い |
| 1237 | ON | 2 | Auto | 00044 | 良好 |
| 1237 | ON | 2 | Off | 00046 | 良好 |
Spectrum ONの品質はSeed依存で変化する。結果確認なしの長尺・大量生成には追加の誤差検出またはフォールバックが必要。
## 8. 速度比較
| 条件 | 動画 | 生成時間 |
|---|---|---:|
| Spectrum ON | 00046 | 882.52秒、約14分43秒 |
| Spectrum OFF | 00047 | 1274.40秒、約21分14秒 |
```text
短縮時間 約391.88秒、約6分32秒
短縮率 約30.8%
処理速度 約1.44倍
```
別の比較でも約31.6%短縮しており、Spectrumの速度効果は再現している。ただし00046と00047はSeedが異なるため、この値は実用上の参考値。
## 9. 音声の現状
00041〜00047にはAAC音声ストリームがあるが、測定RMSは概ね-58〜-68dBFSで、聴感上ほぼ無音。したがって、歌唱、会話、伴奏を含むAudio ContinuityとSeam Autoの効果は未確定。
現時点の運用仮説:
```text
映像中心・無音に近い Seam Off
会話・歌唱・演奏あり Seam Autoの可能性。A/B未完了
```
## 10. 保留中・次のテスト
1. Seed 1235 / Spectrum ON / Warmup 1 / Seam Off
2. 固定カメラ・明確な持続歌唱で、同一SeedのSeam Off/Auto
3. 歌唱と小振幅・低速プッシュインを含む実用Promptで、同一SeedのSeam Off/Auto
4. 音声境界の前後100〜200msについて、瞬間ピーク、短時間RMS、F0、波形相関、スペクトル差、DC offsetを比較
5. 3チャンクで安定後、5×5秒または6×5秒でIdentity driftを確認
## 11. 検討中の対策
- Clip 1だけNative計算し、Continuation chunkからSpectrumを使用
- Spectrumの予測誤差が大きいstepだけActualへ戻す
- selective rollback correctionとanchor residual feedbackの同一Seed A/B
- 元画像による定期的なIdentity再アンカー
- 異常Contextを検出し、該当チャンクだけSpectrumなしで再生成
- Seam Autoの映像補正と音声補正を個別に選択可能にする
## 12. 将来のGitHub公開方法
- このMarkdownと機械可読なJSON/CSVを通常Gitへ追加する。
- コンタクトシートは`docs/assets/ab-tests/`等へ追加する。
- 大容量MP4は通常Gitへ直接追加せず、GitHub Release assetsまたはGit LFSを検討する。
- 公開前にPrompt、Workflow、モデル、ComfyUI revision、Python/Torch/CUDA、GPU、生成時間を各サンプルへ紐付ける。
## 00048 / 00049: 0.5 MP Seam Off vs Auto
- 共通条件: 576x896 (約0.5 MP), 24 fps, 3 x 5秒, Spectrum On, Warmup 1, Actual Prefix 2, Balanced 22, base seed 1235。
- 00048: Seam Off。5秒境界比 0.3583、10秒境界比 0.8562。
- 00049: Seam Auto。5秒境界比 0.3709、10秒境界比 0.4271。
- 視覚評価: 両方とも人物・衣装・肌は安定し、見た目の差は小さい。Autoは10秒境界を数値上改善した。
- 音声: 両方ともほぼ無音のため、音声シーム効果は未評価。
- 注意: 0.5 MP条件のため、0.6 MPで発生したSeed 1235の崩れをWarmup 1が解消したとは断定しない。
### 目視評価の補足
- ユーザー目視では00049(Seam Auto)の方がフリックが若干目立つ。
- 00048(Seam Off)の方が境界変化を比較的抑えられている。
- 境界指標の改善と主観的なフリック低減は一致しなかったため、本比較では目視評価を優先しSeam Offを採用候補とする。
## 00050: 音声あり一貫性テスト
- 条件: 576x896(約0.5 MP)、24 fps、3 x 5秒、Spectrum On、Warmup 1、Balanced 22、base seed 1235、Seam Off。
- 音声レベル: mean -19.9 dB、peak -6.4 dB。前回のほぼ無音サンプルより音声境界の評価に適する。
- 目視: 3チャンクを通して人物、髪、衣装、背景、露出は安定。肌・顔の累積崩れも目立たない。
- 5秒境界: 境界付近で瞬きが始まるためフレーム差はあるが、露出フリックより自然動作として見える。
- 10秒境界: 口形、顔、背景の連続性が高く、明確な視覚ジャンプは小さい。
- 未確認: 音声境界のクリック、F0、短時間RMS、スペクトル差の数値解析。
- 次の比較: 同一Prompt・Seed・解像度・Warmupのまま、SeamだけAutoへ変更した1本と比較する。
### 00050 音声の目視・聴感補足
- ユーザー聴感で10秒(Chunk 2→3境界)に短いプチノイズを確認。
- 同境界の映像連続性は良好であり、映像シームと音声シームの品質が一致しない例となった。
- 暫定対策候補: Video Seam Off、Audio Seam Autoを独立設定にする。
### 00050 実行レポート補足
- Prompt plan: Fixed、3 chunks、5.000秒。Seam correction Off。
- Chunk seeds: 12362262848839836333 / 1129406137053299874 / 8524677167168820503。
- Continuity motion: Chunk 2 = 0.378492、Chunk 3 = 0.388277。Continuation chunksはActual Prefix 2を要求。
- Retained frames: 124 + 119 + 119 = 362。Exact-durationで360 framesへ末尾調整。
- Audio: 480000 samples(32 kHz、15.000秒)。末尾補正 -2667 samplesは2 frames相当で、10秒境界のプチノイズ原因とは分離して扱う。
- 判定: sample-boundary alignmentは尺を整合させているが、波形位相・振幅の連続性までは保証しない。Audio Seam Off基準として保存する。
### 00050 境界評価の訂正
- 5秒(Chunk 1→2): 映像フリックが確認できる。
- 10秒(Chunk 2→3): 映像フリックは目立たないが、音声に短いプチノイズがある。
- 映像と音声の問題位置は一致していないため、Video SeamとAudio Seamは独立評価・独立処理が必要。
### 00050 最終訂正(この評価を優先)
- 5秒(Chunk 1→2): 映像フリックあり。
- 10秒(Chunk 2→3): 映像フリックは目立たない。
- 音声: 明確なプチノイズは確認できない。先行する「10秒に音声ノイズあり」という記録は取り消し、未検出として扱う。
- 00050はAudio Seam不具合の根拠にはせず、音声は専用テストで改めて検証する。
## V3.2.1 Reference + Continuation 実機成績
共通条件:
```text
Version H3 Continuum V3.2.1
Output 1056x608 / 24fps / 15秒 / 360 frames
Image scale 16:9 / 0.6MP / multiple 32
Chunks 3 x 5秒
Continuity Balanced 22
Reference images 2
Reference size Match Output
Audio Seam Off
Run Storage Save + Auto Resume
```
| 動画 | MODEL | Prompt | 生成時間 | Run Storage | 判定 |
|---|---|---|---:|---|---|
| 00006 | FL2VA | 縦構図指定が残る旧Prompt | 749.35秒 | 0 reused / 3 generated | MODEL切替前baseline |
| 00007 | Ref2VA | 縦構図指定が残る旧Prompt | 751.26秒 | 0 reused / 3 generated | Ref2VA切替を新Revisionとして検出 |
| 00008 | Ref2VA | 16:9横長へ修正したPrompt | 751.64秒 | 0 reused / 3 generated | 技術PASS、実用可能な結果 |
00008の実行結果:
```text
Conditioning mode Reference + Continuation
Prompt plan List / 3 unique prompts
Chunk 2 Actual Prefix 2
Chunk 3 Actual Prefix 2
Natural frames 362
Final frames 360
Revision 2167719e99b1e782
```
確認事項:
- 2枚のReferenceを全3チャンクで継続使用できた。
- FL2VAからRef2VAへの変更、およびPrompt変更を別Revisionとして扱い、旧Chunkを誤再利用しなかった。
- 00006~00008の生成時間は約749~752秒で、モデル切替やPrompt修正による異常な時間増加はない。
- 00008はユーザー目視を含め、V3.2.1 Reference + Continuationの実用可能な実機成績として保存する。