zikai/zTools2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
26 Commits 2 Branches 0 Tags
09682245f5e7defac98633a0ed2beb0bed45e410
Commit Graph

12 Commits

Author SHA1 Message Date
zikai
9af28f41b4 refactor: 清理死代码/提前失败/日志/高内聚低耦合 
死代码移除:
- whiteboard_hub.py: 移除未引用的 reset_hub 单例重置函数
- tunnel_service.py: 移除未引用的 is_port_allowed (逻辑已在 sftp_server 内联)
- tunnel_session_dao.py: 移除未引用的 get_active_by_port
- pdf_job_dao.py: 移除未用 datetime 导入
- pdf_converter.py: 移除未用 shutil 导入
- pdf_service.py: 移除未用 PdfSubmitResponse 导入 + _do_convert 内未用 hashlib 导入
- upload_html.py: 移除未用 escape 导入 (JS 侧自有 escapeHtml)
- pdf_controller.py: 移除 _resolve_cookie 内未用 cfg 局部变量

提前失败/分层修复:
- database.py init_db_schema: 建表后用 inspector 校验既有表列与模型一致,
  缺列即抛 RuntimeError (fail-fast on schema drift), 避免运行期才暴露
- whiteboard_dao.get_or_create: 仅 IntegrityError 才回滚重读, 其他异常向上抛
  (原 except Exception 会掩盖 schema/连接等真实故障)
- pdf_service.admin_delete/_safe_delete_file: 改用 PdfJobDAO.delete /
  UploadedFileDAO.delete, 不再直接操作 job_dao.db / file_dao.db (修复分层契约:
  DAO 头注释声明 service 不直接操作 session)
- PdfJobDAO 新增 delete(job) 方法

日志补全 (8 处 silent catch):
- whiteboard_hub.py disconnect/close_board 关闭 ws: logger.debug
- whiteboard_controller _safe_send/_safe_close: logger.debug
- sftp_server _close_tunnel_dao/读用户名: logger.debug
- sftp_server validate_public_key: logger.warning (auth 路径, 避免静默失败)

文档:
- 新增 docs/routes.md, docs/configuration.md, docs/error-handling.md
- README.md 精简为简介/结构/外部依赖/apache2 配置/Ubuntu 安装/docs 链接
 2026-07-28 11:34:35 +08:00
zikai
aa08a1cf60 feat: 新增 PDF 转换服务（epub->pdf，cookie 用户隔离，软删/硬删两级删除） 
纯 Python 转换（ebooklib 解析 epub + weasyprint 渲染 HTML/CSS 为 PDF），
无需 calibre/xvfb 系统依赖。复用 UploadedFile 存储（原始文件与产物 PDF）。

- model/dao/schema：PdfJob 记录转换任务（owner_cookie/source/output/进度/状态）
- pdf_converter：epub->PDF 转换器（按 spine 顺序拼 HTML，OPF 目录解析相对资源）
- pdf_service：上传落盘 + asyncio 后台转换（独立 Session）+ 进度追踪 + 两级删除
  · 用户软删（user_deleted，管理页仍可见）· 管理员硬删（真正删磁盘+记录）
- pdf_controller：/api/pdf/*（用户，cookie）+ /api/admin/pdf/*（Basic Auth）
- /pdf、/pdf-admin 页面（原生 JS，复用 common.css/js）
- 配置 pdf 段（max_size 250MB、转换超时、cookie）
- pytest 7 项（SQLite→MySQL 隔离测试库）：上传/转换/下载/软删/硬删/超限/越权
 2026-07-27 11:33:43 +08:00
zikai
09705a8843 feat: SFTP 上传的文件经磁盘扫描补录后可在文件浏览页展示 
SFTP 上传的文件直接落盘到 upload_root（chroot 根），不经 HTTP 路径，无 DB 记录，
文件浏览页（读 uploaded_file 表）看不到。新增磁盘扫描机制：

- UploadService.scan_sftp_files(force=False)：遍历 uploads/ 下所有文件（排除 .work/
  与 .part 残品），与 DB 已有 storage_path 比对，磁盘有 DB 无的补录（source="sftp"，
  流式算 size + sha256）。
- 频率限制：模块级 _last_scan_time，两次扫描间隔 < 3s 则跳过返回 0（只读 DB 缓存），
  force=True 强制扫。
- file_admin_controller 的 list 接口返回前触发 scan_sftp_files()，文件浏览页打开/
  刷新即自动同步 SFTP 文件（受 3s 频率限制，不会每次翻页都扫磁盘）。
- UploadedFileDAO 加 list_storage_paths() 批量查已记录路径集合供比对。

SFTP 文件补录后可正常下载/删除（与 HTTP 上传文件一致）。
 2026-07-22 01:25:41 +00:00
zikai
30a263ed50 fix: 代码审查修复 + 精简重写 README 
后端修复：
- 白板删除踢人失效：delete_whiteboard 改 async def，删除后直接 await
  hub.close_board()。原实现用 asyncio.get_running_loop() 在同步 REST handler
  （threadpool）里调用必抛 RuntimeError 被 except 吞掉，close_board 从不执行。
  同时移除 service 的 hub 依赖（close_board 改由 controller 调用，service 只管 DB）。
- delete_file 去重复查询：原先 get_out_with_disk_path + get_by_id 查两次，
  合并为一次；磁盘 unlink 失败加 logger.warning（原静默吞掉致磁盘泄漏无记录）。
- get_hub 单例加 threading.Lock 双重检查（防 REST threadpool 与 WS 事件循环
  并发首访各建一个 hub）。
- file_controller 公开 /api/files list 加 Query(ge=1, le=10000) 约束（原无上限可 DoS）。

前端修复：
- applyRemoteUpdate 有未发送编辑时重发：合并远端更新后若本地有 pending 编辑
  （editor.value !== lastSentText）重新 scheduleSend，避免被 lastSentText 短路丢弃。
- init 不覆盖未发送编辑：断线重连后若本地有未发送内容，作为新版本发上去而非被 init 覆盖。
- applyRemoteUpdate 仅在编辑器已有焦点时恢复焦点，避免抢按钮焦点。
- api() 401 时 location.reload() 触发浏览器 Basic Auth 弹窗（原只 toast 卡死）。

README：
- 精简重写，补全 Ubuntu 从 0 安装、Apache 反代（含 WS）、配置项表格、防火墙说明。
 2026-07-22 01:03:48 +00:00
zikai
da7d2fb4b4 security: 白板 WS 加单帧大小限制与单 board 连接数上限 
安全审计发现：
- WS receive_text 无应用层大小限制，恶意客户端可发超大帧（uvicorn 默认 16MB
  才拦截）占内存。加 512KB 单帧检查（与 content 256KB 限制对齐留余量）。
- 单 board 无连接数上限，恶意脚本可开海量连接耗尽资源。config 加
  max_connections_per_board（默认 50），hub.register 超限返回 False，
  controller 回 error 帧并关闭连接。

审计结论（无需修复）：
- SQL：全部 SQLAlchemy ORM 参数化，无注入。
- 路径穿越：storage_path 服务端生成（uuid+basename(ext)），用户不可控分隔符。
- 鉴权：管理类操作均有 require_docs_auth，公开写接口符合设计。
- 下载 filename CRLF：Starlette FileResponse 用 quote() 编码，无响应拆分。
- XSS：前端 el() 用 createTextNode，textarea 纯文本，innerHTML 仅用于静态文案。
 2026-07-21 15:09:13 +00:00
zikai
655e039aad refactor: 白板从画笔画板改为文本记事本 
原实现是 Canvas 画笔画板，与「文字白板/记事本」需求不符。重做为纯文本实时协作：
- model：strokes JSON -> content TEXT + version INT（乐观锁）+ edit_count；
  schema/dao/service 同步重构，append_stroke/replace_strokes -> update_content。
- WS 协议：stroke -> edit（发完整文本，debounce 400ms）；init 下发 content/version。
  update 帧广播给他人，cleared 广播给所有人。
- 前端：canvas -> textarea；收到远端 update 用最长公共前后缀算变更区间，
  仅替换该区间并保留光标（区间前不动/后平移/内移末尾）；清空/复制文本按钮。
- schema.sql 更新 whiteboard 表 DDL；DB 旧表 DROP 重建（开发环境）。
- 测试脚本与 README 同步更新。
 2026-07-21 15:00:25 +00:00
zikai
41580a9025 feat: 文件浏览页支持多选、批量下载/删除与分页 
- 后端：
  - UploadService.delete_file 下沉删除逻辑（DB 行 + 磁盘文件），单删/批删复用。
  - POST /api/admin/files/batch-delete：批量硬删除，返回 deleted 数与 not_found 列表。
  - list 接口加 Query 约束（limit 1-10000、offset>=0），非法返回 422。
- 前端（file_browser）：
  - 复选框列 + 全选/反选，选中行高亮，批量操作栏（已选计数/下载/删除/取消）。
  - 分页控件：每页 20/50/100/全部 切换，页码导航（首页/末页/当前±1/省略号）。
  - 批量下载逐个触发（间隔 150ms 防浏览器拦截）；批量删除走 batch-delete 接口。
  - 删除后重载当前页，当前页空则回退一页。
 2026-07-21 14:37:13 +00:00
zikai
fffba79022 feat: 文件浏览页 + 共享白板 + 白板管理页（含补登记分片上传/隧道历史改动） 
本次提交包含两批改动（7月2日遗留未入库 + 本次新功能），分述如下：

【补登记：7月2日已上线但未提交的功能】
- 分片上传：chunk_upload_controller/service/dao + UploadSession model/schema，
  支持 4MiB 分片、乱序、断点续传、去重、幂等 complete；后台 reaper 清理过期会话。
- 反向隧道：tunnel_controller/service/dao + TunnelSession model/schema，
  SSH remote forward 经 /api/userPort/{userName} 反代到 user 本地服务。
- 上传页：views/upload_html.py（拖拽/多文件/分片/断点续传 UI）。
- config.py：StorageConfig.chunk_session_dir/ttl、TunnelConfig；
  requirements.txt 加 httpx；start.sh 清理 .work/ 残留；
  schema.sql 加 upload_session/tunnel_session 表；sftp_server 承载隧道转发。

【本次新功能】
- 文件浏览页：GET /files（Basic Auth 同 docs）+ /api/admin/files（list/get/download/DELETE）。
  硬删除（DB 行 + 磁盘文件），删除后列表不再显示。前端 static/file_browser.*。
- 共享白板：GET /whiteboard/{id}（公开，不存在则新建）+ WS /ws/whiteboard/{id}。
  MySQL 持久化（whiteboard 表），Canvas 实时同步，心跳 3s/5 次失活移除，
  清空/复制按钮，移动端兼容。WhiteboardHub 管理 {board_id: set[Connection]}，
  disconnect 幂等 + 空 set 清理防泄漏，broadcast 失败连接自动移除。
- 白板管理页：GET /whiteboard-admin（Basic Auth）+ /api/admin/whiteboards（list/DELETE）。
  删除时 hub.close_board 踢出在线连接。
- 清理：合并 UploadService.get_out_with_disk_path（下载/删除复用，消除重复 DB 读），
  移除无用 resolve_disk_path。
- config.py：WhiteboardConfig（heartbeat/threshold/board_id 长度/list_limit）；
  schema.sql 加 whiteboard 表；README 补新接口与心跳/内存说明。
- 验证：tests/manual_whiteboard_hub.py / _ws.py / _kick.py 全部通过。
 2026-07-21 14:28:13 +00:00
zikai
e5a725fc91 fix: database.py 懒初始化引擎 + list_files 返回真实 total 
- database.py: engine/SessionLocal 改为延迟创建，避免 import 时副作用，
  并提供 dispose_engine() 支持配置热重载
- dao/uploaded_file_dao.py: 新增 count() 方法
- upload_service.py: list_files() 改用 dao.count() 返回数据库总条数，
  修复之前返回当前页条目数导致分页 total 语义错误的问题
 2026-06-24 07:42:30 +00:00
zikai
fda635ccbd refactor: 抽出 _commit / _make_storage_path 复用两条上传路径 2026-06-23 16:29:39 +00:00
zikai
6c7d3f1272 feat: 增加 /api/files/exists 与 /api/files/register-sftp 接口 
- DAO 增加 get_by_sha256
- UploadService 抽出 _to_response 复用；新增 find_by_sha256、register_sftp
- 控制器新增两条路由（注意排在 /{file_id} 之前以避免被吞）
- 引入 SftpRegisterRequest schema
- SFTP 服务启动时自动创建 uploads/incoming/
- 行为：路径穿越 400、文件不存在 404、sha256 已存在则去重返回已有行
 2026-06-23 16:22:03 +00:00
zikai
80b96d236f init: 从 /root/zikai 根目录迁入 
把原本散落在 /root/zikai 的 FastAPI 服务整理到 server/ 子目录，
开启独立 git 与 venv。运行时数据（config.yaml / keys / uploads）
按 .gitignore 留在工作目录但不入仓。
 2026-06-23 16:17:31 +00:00