audio2text dev
|
5f6a242114
|
docs: README 分层重构 — 主页精简到 150 行 + 6 个子文档
原 883 行单体 README 信息密度过高且重复（配置差异表出现 2 次、缓存说明
散落多处）。按主题拆分：
主页 README.md (150行):
- 一句话简介 + 功能特性(精简) + 架构(目录树+数据流) + 快速开始
- 文档索引表(链接到 6 个子文档,每行一句话说明)
- 入口地址表 + 依赖(精简)
docs/ 子文档(原样搬运,不重写):
- DEPLOYMENT.md (170行) CPU/GPU 部署、模型选型、CPU↔GPU 切换
- CONFIG.md (187行) 配置差异表、完整字段表、配置示例
- DOCKER.md (185行) 构建/重建/缓存分层/until根因/Volume
- API.md (70行) HTTP接口表、分片上传协议、示例
- ARCHITECTURE.md(140行) 断句算法、显存策略、GPU优化、缓存清理
- FAQ.md (42行) 6 条常见问题
每个子文档顶部加「← 返回主页」链接,相关处加交叉引用
(如 DEPLOYMENT 提到缓存时链接 DOCKER.md)。无内容丢失。
|
2026-07-06 22:59:05 +08:00 |
|
audio2text dev
|
4625650fc8
|
docs: README 补全新建/重建流程 + 缓存删除边界 + GPU 利用率优化
- 新增「新建/重建容器」子节：首次新建、重建镜像（改代码）、改配置、改依赖
四种场景的明确操作，区分何时需要重建镜像、何时只需重启
- 新增「缓存分层与删除边界」：BuildKit/pip/模型/运行时数据四类缓存的删除
影响对照表 + 何时主动清缓存的指引
- 记录之前踩的缓存失效根因：docker builder prune --filter until=Nm 会清掉
稳定 base 层（CACHED 跳过的层访问时间不刷新 → 被误判可回收）。明确禁止
使用 until filter，给出正确替代写法
- 新增「GPU 利用率优化」章节：faster-whisper 尖刺波成因（CPU Mel 特征提取
与 GPU 解码未重叠）+ batch_size 16→32 / beam_size 5→2 的参数选择依据 +
为什么不能关 word_timestamps（segmenter 强依赖）+ 验证方法
- 配置差异表从 6 项补到 8 项（加 asr.batch_size / asr.beam_size），修正
translation.batch_size 16→32
- asr/translation 字段表补齐 batch_size / beam_size / sort_by_length 行
- 配置示例同步更新（加 beam_size、sort_by_length，修正 batch_size）
|
2026-07-06 22:35:33 +08:00 |
|
audio2text dev
|
a6b5c7231c
|
perf: ASR GPU 利用率优化 — batch_size 16→32 + beam_size 5→2
faster-whisper 的 GPU 利用率呈尖刺波（峰=批量解码满载，谷=CPU 提取 Mel
特征 + 处理结果时 GPU 空闲），平均利用率低。瓶颈不在算力而在 CPU/GPU
未重叠。
- batch_size 16→32：拉长单次 GPU 解码时间，相对掩盖 CPU 特征提取间隙，
尖刺变宽变平，平均利用率上升。turbo FP16 仅 ~1.6GB，3090 24G 充裕。
- beam_size 5→2：turbo 模型鲁棒，候选数 5→2 大幅减少解码步数，让 GPU
峰更密、间隙更短。保留 1 个候选做歧义发音保险，质量损失小。
- beam_size 从硬编码提到 config 可调，CPU/CPU 模板/GPU/示例 四份配置对齐
- /health 增加 asr_beam_size，模型加载日志同步输出 batch+beam
word_timestamps 保留 True：segmenter 强依赖词级时间戳做精确断句，
关闭会触发匀速估算退化路径，得不偿失。
|
2026-07-06 22:28:37 +08:00 |
|
audio2text dev
|
e0dd987dba
|
fix: ffmpeg 串行化（最多1个同时运行），上传不限制
问题：enqueue_task 每任务起一个 ffmpeg 线程，4 个文件同时跑 ffmpeg，
CPU/磁盘 IO 争抢导致整体变慢。
修复：
- scheduler.py: ffmpeg 改为单工作线程 + queue.Queue 串行队列
enqueue_task 只入队不入线程，最多 1 个 ffmpeg 同时运行
- 上传接收不受限：complete 立即返回，不等待 ffmpeg
- GPU 调度线程不变（仍串行，与 ffmpeg 并行）
验证：4 文件并发上传，日志确认提取严格串行（40→41→42→43 无重叠），
排队任务显示 queued 状态，4/4 成功(21.0s)
|
2026-07-06 22:08:59 +08:00 |
|
audio2text dev
|
2f68c7e1f8
|
fix: 并发上传5文件刷新后丢失 + 分片写入阻塞事件循环
根因：
1. pump() 仅在 addFiles() 调用一次，上传完成/失败后不重新触发，
导致 CONCURRENCY=3 之后的文件（4、5）永远不启动 → 无 DB 会话 → 刷新后消失
2. write_chunk 的 uploaded_chunks 是 read-modify-write，并发分片写入
后者覆盖前者 → 分片记录丢失 → complete 报 409
3. upload_chunk 是 async 但同步调 write_chunk（fsync+DB commit），
阻塞 uvicorn 事件循环 → 所有 web 请求被串行化
修复：
- _shared.py: pump() 加 finally 块，上传完成/失败后都触发下一文件；
文件并发(FILE_CONCURRENCY=5)与分片并发(CHUNK_CONCURRENCY=3)分离
- upload_service.py: 按 upload_id 的进程级锁串行化 uploaded_chunks 更新，
持锁后 db.refresh 重读最新值再 append，杜绝丢失更新；complete 后清理锁
- upload_router.py: upload_chunk 的 write_chunk 调用改用 run_in_threadpool，
阻塞 I/O 移出事件循环，web 请求不再被分片写入阻塞
验证：5 文件并发上传后刷新全部可见；4 任务并发处理 4/4 成功(19.2s)
|
2026-07-06 22:04:06 +08:00 |
|
audio2text dev
|
73110848f4
|
feat: 调度器+并发管线+GPU优化+日志分级+前端修复
- scheduler: ffmpeg 异步线程 + GPU 串行调度 + 模型复用（2N→2 次加载）
- pipeline: 阶段拆分（extract/asr/translate），中间数据存 Task 字段
- translate_service: 长度排序批处理，padding 浪费减少 91%
- model_manager: ASR/翻译不共驻，BatchedInferencePipeline 批量解码
- 日志分级: INFO=任务流转里程碑，DEBUG=进度详情；默认 INFO
- 前端: 日志最新在上+滚动感知+退避轮询；24h 时间；上传中状态显示
- /health: 返回完整 Whisper/NLLB 配置
- upload_service: 单事务 complete + 扩展名白名单
- task_router: 合并 UploadSession 虚拟任务到列表
- Dockerfile: CPU/GPU 独立构建链，deps 缓存稳定
- prefetch_models: 安装时预下载模型权重
|
2026-07-06 21:59:59 +08:00 |
|
|
|
00e2a95fb7
|
Initial commit: audio2text 双语字幕生成服务
- 音频/视频转双语(英/中)SRT 字幕，Docker 容器化，CPU 开发/GPU 生产同一份代码
- faster-whisper ASR(词级时间戳) + 断句时间戳重算 + NLLB 翻译(模型不共驻)
- 分片上传(断点续传) + SQLite 持久化 + 主页/历史/日志页面
- 历史页文件名搜索；缓存定时清理(默认保留7天，可配置)
- 双 Dockerfile(cpu/gpu) + setup/start/stop 脚本
|
2026-07-06 06:54:19 +00:00 |
|
