zikai/zTools2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
26 Commits 2 Branches 0 Tags
09682245f5e7defac98633a0ed2beb0bed45e410
Commit Graph

8 Commits

Author SHA1 Message Date
zikai
9af28f41b4 refactor: 清理死代码/提前失败/日志/高内聚低耦合 
死代码移除:
- whiteboard_hub.py: 移除未引用的 reset_hub 单例重置函数
- tunnel_service.py: 移除未引用的 is_port_allowed (逻辑已在 sftp_server 内联)
- tunnel_session_dao.py: 移除未引用的 get_active_by_port
- pdf_job_dao.py: 移除未用 datetime 导入
- pdf_converter.py: 移除未用 shutil 导入
- pdf_service.py: 移除未用 PdfSubmitResponse 导入 + _do_convert 内未用 hashlib 导入
- upload_html.py: 移除未用 escape 导入 (JS 侧自有 escapeHtml)
- pdf_controller.py: 移除 _resolve_cookie 内未用 cfg 局部变量

提前失败/分层修复:
- database.py init_db_schema: 建表后用 inspector 校验既有表列与模型一致,
  缺列即抛 RuntimeError (fail-fast on schema drift), 避免运行期才暴露
- whiteboard_dao.get_or_create: 仅 IntegrityError 才回滚重读, 其他异常向上抛
  (原 except Exception 会掩盖 schema/连接等真实故障)
- pdf_service.admin_delete/_safe_delete_file: 改用 PdfJobDAO.delete /
  UploadedFileDAO.delete, 不再直接操作 job_dao.db / file_dao.db (修复分层契约:
  DAO 头注释声明 service 不直接操作 session)
- PdfJobDAO 新增 delete(job) 方法

日志补全 (8 处 silent catch):
- whiteboard_hub.py disconnect/close_board 关闭 ws: logger.debug
- whiteboard_controller _safe_send/_safe_close: logger.debug
- sftp_server _close_tunnel_dao/读用户名: logger.debug
- sftp_server validate_public_key: logger.warning (auth 路径, 避免静默失败)

文档:
- 新增 docs/routes.md, docs/configuration.md, docs/error-handling.md
- README.md 精简为简介/结构/外部依赖/apache2 配置/Ubuntu 安装/docs 链接
 2026-07-28 11:34:35 +08:00
zikai
ff2ad3fcb3 feat: 所有入口统一到 /api/ 前缀 
将 zTools2 托管的页面/静态/探针/WebSocket 路由全部从顶级路径迁移到 /api/ 下：
- 页面：/pdf -> /api/pdf、/pdf-admin -> /api/pdf-admin、/upload -> /api/upload、
  /files -> /api/files-page、/wb/{id} -> /api/wb-page/{id}、/wb-admin -> /api/wb-admin
  （页面类加 -page 后缀以规避同名 REST API /api/files、/api/wb/{id}）
- 静态资源：/static -> /api/static
- 探针：/health -> /api/health
- WebSocket：/ws/wb/{id} -> /api/ws/wb/{id}
- 前端 HTML 壳与 JS 中的资源/页间链接/WS URL 同步更新
- 手动测试脚本 BASE_WS 同步

这样反代与 vite proxy 只需一条 /api/ 规则即可转发全部入口；
前端 iframe 用同源相对路径 /api/pdf，与环境无关，不再误打到其它环境域名。
README 新增「路由约定」说明。
 2026-07-27 15:42:47 +08:00
zikai
30a263ed50 fix: 代码审查修复 + 精简重写 README 
后端修复：
- 白板删除踢人失效：delete_whiteboard 改 async def，删除后直接 await
  hub.close_board()。原实现用 asyncio.get_running_loop() 在同步 REST handler
  （threadpool）里调用必抛 RuntimeError 被 except 吞掉，close_board 从不执行。
  同时移除 service 的 hub 依赖（close_board 改由 controller 调用，service 只管 DB）。
- delete_file 去重复查询：原先 get_out_with_disk_path + get_by_id 查两次，
  合并为一次；磁盘 unlink 失败加 logger.warning（原静默吞掉致磁盘泄漏无记录）。
- get_hub 单例加 threading.Lock 双重检查（防 REST threadpool 与 WS 事件循环
  并发首访各建一个 hub）。
- file_controller 公开 /api/files list 加 Query(ge=1, le=10000) 约束（原无上限可 DoS）。

前端修复：
- applyRemoteUpdate 有未发送编辑时重发：合并远端更新后若本地有 pending 编辑
  （editor.value !== lastSentText）重新 scheduleSend，避免被 lastSentText 短路丢弃。
- init 不覆盖未发送编辑：断线重连后若本地有未发送内容，作为新版本发上去而非被 init 覆盖。
- applyRemoteUpdate 仅在编辑器已有焦点时恢复焦点，避免抢按钮焦点。
- api() 401 时 location.reload() 触发浏览器 Basic Auth 弹窗（原只 toast 卡死）。

README：
- 精简重写，补全 Ubuntu 从 0 安装、Apache 反代（含 WS）、配置项表格、防火墙说明。
 2026-07-22 01:03:48 +00:00
zikai
da7d2fb4b4 security: 白板 WS 加单帧大小限制与单 board 连接数上限 
安全审计发现：
- WS receive_text 无应用层大小限制，恶意客户端可发超大帧（uvicorn 默认 16MB
  才拦截）占内存。加 512KB 单帧检查（与 content 256KB 限制对齐留余量）。
- 单 board 无连接数上限，恶意脚本可开海量连接耗尽资源。config 加
  max_connections_per_board（默认 50），hub.register 超限返回 False，
  controller 回 error 帧并关闭连接。

审计结论（无需修复）：
- SQL：全部 SQLAlchemy ORM 参数化，无注入。
- 路径穿越：storage_path 服务端生成（uuid+basename(ext)），用户不可控分隔符。
- 鉴权：管理类操作均有 require_docs_auth，公开写接口符合设计。
- 下载 filename CRLF：Starlette FileResponse 用 quote() 编码，无响应拆分。
- XSS：前端 el() 用 createTextNode，textarea 纯文本，innerHTML 仅用于静态文案。
 2026-07-21 15:09:13 +00:00
zikai
374c3d150f fix: docs 分组与 summary 统一 + 记事本页加「复制链接」按钮 
docs 乱：
- main.py 页面路由（/upload /files /wb-admin /wb/{id} /docs /redoc / /health）
  加 tags（pages/docs/meta）+ summary/description，Swagger UI 按 tag 分组显示。
- whiteboard_controller 残留「白板/笔画/修改次数」改为「记事本/文本/编辑次数」。

复制链接：
- 记事本页加「复制链接」按钮，复制 {origin}/wb/{id} 分享链接（保留「复制文本」）。
 2026-07-21 15:04:02 +00:00
zikai
655e039aad refactor: 白板从画笔画板改为文本记事本 
原实现是 Canvas 画笔画板，与「文字白板/记事本」需求不符。重做为纯文本实时协作：
- model：strokes JSON -> content TEXT + version INT（乐观锁）+ edit_count；
  schema/dao/service 同步重构，append_stroke/replace_strokes -> update_content。
- WS 协议：stroke -> edit（发完整文本，debounce 400ms）；init 下发 content/version。
  update 帧广播给他人，cleared 广播给所有人。
- 前端：canvas -> textarea；收到远端 update 用最长公共前后缀算变更区间，
  仅替换该区间并保留光标（区间前不动/后平移/内移末尾）；清空/复制文本按钮。
- schema.sql 更新 whiteboard 表 DDL；DB 旧表 DROP 重建（开发环境）。
- 测试脚本与 README 同步更新。
 2026-07-21 15:00:25 +00:00
zikai
7188c62d3a refactor: 白板路由改 /wb 前缀，消除 HTML 与 REST 同路径冲突 
问题：GET /whiteboard/{board_id} 同时被 REST（返回 JSON）与 main.py 的 HTML 页面
注册，FastAPI 按注册顺序匹配到 REST，导致浏览器访问拿到 JSON 而非前端页面。

改为按职责分命名空间，避免冲突：
- HTML 页面：/wb/{id}（main.py）、/wb-admin（main.py，Basic Auth）
- 公开 REST：GET /api/wb/{id}（前端 init 拉取初始笔画）
- WS：/ws/wb/{id}（实时同步 + 心跳）
- 管理 REST：GET /api/admin/wb、DELETE /api/admin/wb/{id}（Basic Auth）

前端 whiteboard.js / whiteboard_admin.js、测试脚本、README 路径同步更新。
旧 /whiteboard/* 路径不再注册（404）。
 2026-07-21 14:51:33 +00:00
zikai
fffba79022 feat: 文件浏览页 + 共享白板 + 白板管理页（含补登记分片上传/隧道历史改动） 
本次提交包含两批改动（7月2日遗留未入库 + 本次新功能），分述如下：

【补登记：7月2日已上线但未提交的功能】
- 分片上传：chunk_upload_controller/service/dao + UploadSession model/schema，
  支持 4MiB 分片、乱序、断点续传、去重、幂等 complete；后台 reaper 清理过期会话。
- 反向隧道：tunnel_controller/service/dao + TunnelSession model/schema，
  SSH remote forward 经 /api/userPort/{userName} 反代到 user 本地服务。
- 上传页：views/upload_html.py（拖拽/多文件/分片/断点续传 UI）。
- config.py：StorageConfig.chunk_session_dir/ttl、TunnelConfig；
  requirements.txt 加 httpx；start.sh 清理 .work/ 残留；
  schema.sql 加 upload_session/tunnel_session 表；sftp_server 承载隧道转发。

【本次新功能】
- 文件浏览页：GET /files（Basic Auth 同 docs）+ /api/admin/files（list/get/download/DELETE）。
  硬删除（DB 行 + 磁盘文件），删除后列表不再显示。前端 static/file_browser.*。
- 共享白板：GET /whiteboard/{id}（公开，不存在则新建）+ WS /ws/whiteboard/{id}。
  MySQL 持久化（whiteboard 表），Canvas 实时同步，心跳 3s/5 次失活移除，
  清空/复制按钮，移动端兼容。WhiteboardHub 管理 {board_id: set[Connection]}，
  disconnect 幂等 + 空 set 清理防泄漏，broadcast 失败连接自动移除。
- 白板管理页：GET /whiteboard-admin（Basic Auth）+ /api/admin/whiteboards（list/DELETE）。
  删除时 hub.close_board 踢出在线连接。
- 清理：合并 UploadService.get_out_with_disk_path（下载/删除复用，消除重复 DB 读），
  移除无用 resolve_disk_path。
- config.py：WhiteboardConfig（heartbeat/threshold/board_id 长度/list_limit）；
  schema.sql 加 whiteboard 表；README 补新接口与心跳/内存说明。
- 验证：tests/manual_whiteboard_hub.py / _ws.py / _kick.py 全部通过。
 2026-07-21 14:28:13 +00:00