audio2text dev
|
2f68c7e1f8
|
fix: 并发上传5文件刷新后丢失 + 分片写入阻塞事件循环
根因：
1. pump() 仅在 addFiles() 调用一次，上传完成/失败后不重新触发，
导致 CONCURRENCY=3 之后的文件（4、5）永远不启动 → 无 DB 会话 → 刷新后消失
2. write_chunk 的 uploaded_chunks 是 read-modify-write，并发分片写入
后者覆盖前者 → 分片记录丢失 → complete 报 409
3. upload_chunk 是 async 但同步调 write_chunk（fsync+DB commit），
阻塞 uvicorn 事件循环 → 所有 web 请求被串行化
修复：
- _shared.py: pump() 加 finally 块，上传完成/失败后都触发下一文件；
文件并发(FILE_CONCURRENCY=5)与分片并发(CHUNK_CONCURRENCY=3)分离
- upload_service.py: 按 upload_id 的进程级锁串行化 uploaded_chunks 更新，
持锁后 db.refresh 重读最新值再 append，杜绝丢失更新；complete 后清理锁
- upload_router.py: upload_chunk 的 write_chunk 调用改用 run_in_threadpool，
阻塞 I/O 移出事件循环，web 请求不再被分片写入阻塞
验证：5 文件并发上传后刷新全部可见；4 任务并发处理 4/4 成功(19.2s)
|
2026-07-06 22:04:06 +08:00 |
|
audio2text dev
|
73110848f4
|
feat: 调度器+并发管线+GPU优化+日志分级+前端修复
- scheduler: ffmpeg 异步线程 + GPU 串行调度 + 模型复用（2N→2 次加载）
- pipeline: 阶段拆分（extract/asr/translate），中间数据存 Task 字段
- translate_service: 长度排序批处理，padding 浪费减少 91%
- model_manager: ASR/翻译不共驻，BatchedInferencePipeline 批量解码
- 日志分级: INFO=任务流转里程碑，DEBUG=进度详情；默认 INFO
- 前端: 日志最新在上+滚动感知+退避轮询；24h 时间；上传中状态显示
- /health: 返回完整 Whisper/NLLB 配置
- upload_service: 单事务 complete + 扩展名白名单
- task_router: 合并 UploadSession 虚拟任务到列表
- Dockerfile: CPU/GPU 独立构建链，deps 缓存稳定
- prefetch_models: 安装时预下载模型权重
|
2026-07-06 21:59:59 +08:00 |
|
|
|
00e2a95fb7
|
Initial commit: audio2text 双语字幕生成服务
- 音频/视频转双语(英/中)SRT 字幕，Docker 容器化，CPU 开发/GPU 生产同一份代码
- faster-whisper ASR(词级时间戳) + 断句时间戳重算 + NLLB 翻译(模型不共驻)
- 分片上传(断点续传) + SQLite 持久化 + 主页/历史/日志页面
- 历史页文件名搜索；缓存定时清理(默认保留7天，可配置)
- 双 Dockerfile(cpu/gpu) + setup/start/stop 脚本
|
2026-07-06 06:54:19 +00:00 |
|
