audio2text dev
|
a6b5c7231c
|
perf: ASR GPU 利用率优化 — batch_size 16→32 + beam_size 5→2
faster-whisper 的 GPU 利用率呈尖刺波（峰=批量解码满载，谷=CPU 提取 Mel
特征 + 处理结果时 GPU 空闲），平均利用率低。瓶颈不在算力而在 CPU/GPU
未重叠。
- batch_size 16→32：拉长单次 GPU 解码时间，相对掩盖 CPU 特征提取间隙，
尖刺变宽变平，平均利用率上升。turbo FP16 仅 ~1.6GB，3090 24G 充裕。
- beam_size 5→2：turbo 模型鲁棒，候选数 5→2 大幅减少解码步数，让 GPU
峰更密、间隙更短。保留 1 个候选做歧义发音保险，质量损失小。
- beam_size 从硬编码提到 config 可调，CPU/CPU 模板/GPU/示例 四份配置对齐
- /health 增加 asr_beam_size，模型加载日志同步输出 batch+beam
word_timestamps 保留 True：segmenter 强依赖词级时间戳做精确断句，
关闭会触发匀速估算退化路径，得不偿失。
|
2026-07-06 22:28:37 +08:00 |
|
audio2text dev
|
e0dd987dba
|
fix: ffmpeg 串行化（最多1个同时运行），上传不限制
问题：enqueue_task 每任务起一个 ffmpeg 线程，4 个文件同时跑 ffmpeg，
CPU/磁盘 IO 争抢导致整体变慢。
修复：
- scheduler.py: ffmpeg 改为单工作线程 + queue.Queue 串行队列
enqueue_task 只入队不入线程，最多 1 个 ffmpeg 同时运行
- 上传接收不受限：complete 立即返回，不等待 ffmpeg
- GPU 调度线程不变（仍串行，与 ffmpeg 并行）
验证：4 文件并发上传，日志确认提取严格串行（40→41→42→43 无重叠），
排队任务显示 queued 状态，4/4 成功(21.0s)
|
2026-07-06 22:08:59 +08:00 |
|
audio2text dev
|
2f68c7e1f8
|
fix: 并发上传5文件刷新后丢失 + 分片写入阻塞事件循环
根因：
1. pump() 仅在 addFiles() 调用一次，上传完成/失败后不重新触发，
导致 CONCURRENCY=3 之后的文件（4、5）永远不启动 → 无 DB 会话 → 刷新后消失
2. write_chunk 的 uploaded_chunks 是 read-modify-write，并发分片写入
后者覆盖前者 → 分片记录丢失 → complete 报 409
3. upload_chunk 是 async 但同步调 write_chunk（fsync+DB commit），
阻塞 uvicorn 事件循环 → 所有 web 请求被串行化
修复：
- _shared.py: pump() 加 finally 块，上传完成/失败后都触发下一文件；
文件并发(FILE_CONCURRENCY=5)与分片并发(CHUNK_CONCURRENCY=3)分离
- upload_service.py: 按 upload_id 的进程级锁串行化 uploaded_chunks 更新，
持锁后 db.refresh 重读最新值再 append，杜绝丢失更新；complete 后清理锁
- upload_router.py: upload_chunk 的 write_chunk 调用改用 run_in_threadpool，
阻塞 I/O 移出事件循环，web 请求不再被分片写入阻塞
验证：5 文件并发上传后刷新全部可见；4 任务并发处理 4/4 成功(19.2s)
|
2026-07-06 22:04:06 +08:00 |
|
audio2text dev
|
73110848f4
|
feat: 调度器+并发管线+GPU优化+日志分级+前端修复
- scheduler: ffmpeg 异步线程 + GPU 串行调度 + 模型复用（2N→2 次加载）
- pipeline: 阶段拆分（extract/asr/translate），中间数据存 Task 字段
- translate_service: 长度排序批处理，padding 浪费减少 91%
- model_manager: ASR/翻译不共驻，BatchedInferencePipeline 批量解码
- 日志分级: INFO=任务流转里程碑，DEBUG=进度详情；默认 INFO
- 前端: 日志最新在上+滚动感知+退避轮询；24h 时间；上传中状态显示
- /health: 返回完整 Whisper/NLLB 配置
- upload_service: 单事务 complete + 扩展名白名单
- task_router: 合并 UploadSession 虚拟任务到列表
- Dockerfile: CPU/GPU 独立构建链，deps 缓存稳定
- prefetch_models: 安装时预下载模型权重
|
2026-07-06 21:59:59 +08:00 |
|
|
|
00e2a95fb7
|
Initial commit: audio2text 双语字幕生成服务
- 音频/视频转双语(英/中)SRT 字幕，Docker 容器化，CPU 开发/GPU 生产同一份代码
- faster-whisper ASR(词级时间戳) + 断句时间戳重算 + NLLB 翻译(模型不共驻)
- 分片上传(断点续传) + SQLite 持久化 + 主页/历史/日志页面
- 历史页文件名搜索；缓存定时清理(默认保留7天，可配置)
- 双 Dockerfile(cpu/gpu) + setup/start/stop 脚本
|
2026-07-06 06:54:19 +00:00 |
|
