zikai/zTools2
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
21 Commits 2 Branches 0 Tags
ff2ad3fcb3d8f777ae21b445d4248ecd6efb1d35
Commit Graph

21 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
zikai
ff2ad3fcb3 feat: 所有入口统一到 /api/ 前缀 
将 zTools2 托管的页面/静态/探针/WebSocket 路由全部从顶级路径迁移到 /api/ 下：
- 页面：/pdf -> /api/pdf、/pdf-admin -> /api/pdf-admin、/upload -> /api/upload、
  /files -> /api/files-page、/wb/{id} -> /api/wb-page/{id}、/wb-admin -> /api/wb-admin
  （页面类加 -page 后缀以规避同名 REST API /api/files、/api/wb/{id}）
- 静态资源：/static -> /api/static
- 探针：/health -> /api/health
- WebSocket：/ws/wb/{id} -> /api/ws/wb/{id}
- 前端 HTML 壳与 JS 中的资源/页间链接/WS URL 同步更新
- 手动测试脚本 BASE_WS 同步

这样反代与 vite proxy 只需一条 /api/ 规则即可转发全部入口；
前端 iframe 用同源相对路径 /api/pdf，与环境无关，不再误打到其它环境域名。
README 新增「路由约定」说明。
 2026-07-27 15:42:47 +08:00
zikai
729c77e98b feat: 隐藏 PDF 用户页的管理页入口，凭据改为 账号a / 66511315 
- pdf.html 移除页脚"管理页"链接：管理页入口对普通用户隐藏，
  仅管理员知晓 /pdf-admin 直达路径（权限同 /files 文件浏览页，
  复用 require_docs_auth Basic Auth）
- test_pdf_service.py 同步测试凭据为 a/66511315

注：实际凭据存放于 config.yaml 的 docs 段（git-ignored，仅本机 root 持有），
本次仅隐藏入口；管理页鉴权机制（require_docs_auth）此前已与
文件浏览页 /files 完全一致，无需改动。
 2026-07-27 14:17:16 +08:00
zikai
29c5462734 feat: 新增 systemd 持久化部署（deploy/ztools2.service + install-systemd.sh） 
systemd 管理 zTools2 后端实现开机自启 + 崩溃自动重启：
- deploy/ztools2.service 模板（Restart=on-failure，after mysql）
- deploy/install-systemd.sh 自动检测 .venv 或系统 uvicorn，填充路径安装
- README 补持久化部署章节
 2026-07-27 13:52:23 +08:00
zikai
aa08a1cf60 feat: 新增 PDF 转换服务（epub->pdf，cookie 用户隔离，软删/硬删两级删除） 
纯 Python 转换（ebooklib 解析 epub + weasyprint 渲染 HTML/CSS 为 PDF），
无需 calibre/xvfb 系统依赖。复用 UploadedFile 存储（原始文件与产物 PDF）。

- model/dao/schema：PdfJob 记录转换任务（owner_cookie/source/output/进度/状态）
- pdf_converter：epub->PDF 转换器（按 spine 顺序拼 HTML，OPF 目录解析相对资源）
- pdf_service：上传落盘 + asyncio 后台转换（独立 Session）+ 进度追踪 + 两级删除
  · 用户软删（user_deleted，管理页仍可见）· 管理员硬删（真正删磁盘+记录）
- pdf_controller：/api/pdf/*（用户，cookie）+ /api/admin/pdf/*（Basic Auth）
- /pdf、/pdf-admin 页面（原生 JS，复用 common.css/js）
- 配置 pdf 段（max_size 250MB、转换超时、cookie）
- pytest 7 项（SQLite→MySQL 隔离测试库）：上传/转换/下载/软删/硬删/超限/越权
 2026-07-27 11:33:43 +08:00
zikai
fa980e74e0 fix: 白板页强制浅色，避免被 iframe 嵌入到浅色站点时出现黑色背景 
- whiteboard.html 加 <meta name="color-scheme" content="light">
- whiteboard.css 在 :root 钉死 color-scheme: light 与浅色变量，
  覆盖 common.css 的 prefers-color-scheme: dark
 2026-07-22 02:44:03 +00:00
zikai
09705a8843 feat: SFTP 上传的文件经磁盘扫描补录后可在文件浏览页展示 
SFTP 上传的文件直接落盘到 upload_root（chroot 根），不经 HTTP 路径，无 DB 记录，
文件浏览页（读 uploaded_file 表）看不到。新增磁盘扫描机制：

- UploadService.scan_sftp_files(force=False)：遍历 uploads/ 下所有文件（排除 .work/
  与 .part 残品），与 DB 已有 storage_path 比对，磁盘有 DB 无的补录（source="sftp"，
  流式算 size + sha256）。
- 频率限制：模块级 _last_scan_time，两次扫描间隔 < 3s 则跳过返回 0（只读 DB 缓存），
  force=True 强制扫。
- file_admin_controller 的 list 接口返回前触发 scan_sftp_files()，文件浏览页打开/
  刷新即自动同步 SFTP 文件（受 3s 频率限制，不会每次翻页都扫磁盘）。
- UploadedFileDAO 加 list_storage_paths() 批量查已记录路径集合供比对。

SFTP 文件补录后可正常下载/删除（与 HTTP 上传文件一致）。
 2026-07-22 01:25:41 +00:00
zikai
30a263ed50 fix: 代码审查修复 + 精简重写 README 
后端修复：
- 白板删除踢人失效：delete_whiteboard 改 async def，删除后直接 await
  hub.close_board()。原实现用 asyncio.get_running_loop() 在同步 REST handler
  （threadpool）里调用必抛 RuntimeError 被 except 吞掉，close_board 从不执行。
  同时移除 service 的 hub 依赖（close_board 改由 controller 调用，service 只管 DB）。
- delete_file 去重复查询：原先 get_out_with_disk_path + get_by_id 查两次，
  合并为一次；磁盘 unlink 失败加 logger.warning（原静默吞掉致磁盘泄漏无记录）。
- get_hub 单例加 threading.Lock 双重检查（防 REST threadpool 与 WS 事件循环
  并发首访各建一个 hub）。
- file_controller 公开 /api/files list 加 Query(ge=1, le=10000) 约束（原无上限可 DoS）。

前端修复：
- applyRemoteUpdate 有未发送编辑时重发：合并远端更新后若本地有 pending 编辑
  （editor.value !== lastSentText）重新 scheduleSend，避免被 lastSentText 短路丢弃。
- init 不覆盖未发送编辑：断线重连后若本地有未发送内容，作为新版本发上去而非被 init 覆盖。
- applyRemoteUpdate 仅在编辑器已有焦点时恢复焦点，避免抢按钮焦点。
- api() 401 时 location.reload() 触发浏览器 Basic Auth 弹窗（原只 toast 卡死）。

README：
- 精简重写，补全 Ubuntu 从 0 安装、Apache 反代（含 WS）、配置项表格、防火墙说明。
 2026-07-22 01:03:48 +00:00
zikai
4de2648178 fix: 记事本修改需手动刷新才同步（同浏览器多 tab clientId 共享导致 update 被跳过） 
根因：clientId 存 localStorage，同浏览器多个 tab 共享同一 clientId。
前端 onMessage 的 update 分支用 `if (msg.client_id === clientId) break` 跳过
「自己的」更新，但服务端 exclude=conn 是按连接对象排除，非按 client_id。
于是 tab B 编辑后，tab A 收到的 update client_id 等于自己的 clientId，
被误判为「自己的」跳过 -> 不同步，只有手动刷新（重新 init）才看到内容。

修复：
- clientId 改用 sessionStorage（每 tab 独立），不再跨 tab 共享。
- 移除 update 分支的 client_id 跳过逻辑（服务端 exclude=conn 已排除发送者，
  前端跳过是多余且会误杀同 client_id 的其他 tab）。
 2026-07-22 00:36:44 +00:00
zikai
1030801712 docs: 补 Apache WebSocket 反代配置说明（/ws/ 须 proxy_wstunnel 透传） 2026-07-21 15:12:15 +00:00
zikai
da7d2fb4b4 security: 白板 WS 加单帧大小限制与单 board 连接数上限 
安全审计发现：
- WS receive_text 无应用层大小限制，恶意客户端可发超大帧（uvicorn 默认 16MB
  才拦截）占内存。加 512KB 单帧检查（与 content 256KB 限制对齐留余量）。
- 单 board 无连接数上限，恶意脚本可开海量连接耗尽资源。config 加
  max_connections_per_board（默认 50），hub.register 超限返回 False，
  controller 回 error 帧并关闭连接。

审计结论（无需修复）：
- SQL：全部 SQLAlchemy ORM 参数化，无注入。
- 路径穿越：storage_path 服务端生成（uuid+basename(ext)），用户不可控分隔符。
- 鉴权：管理类操作均有 require_docs_auth，公开写接口符合设计。
- 下载 filename CRLF：Starlette FileResponse 用 quote() 编码，无响应拆分。
- XSS：前端 el() 用 createTextNode，textarea 纯文本，innerHTML 仅用于静态文案。
 2026-07-21 15:09:13 +00:00
zikai
374c3d150f fix: docs 分组与 summary 统一 + 记事本页加「复制链接」按钮 
docs 乱：
- main.py 页面路由（/upload /files /wb-admin /wb/{id} /docs /redoc / /health）
  加 tags（pages/docs/meta）+ summary/description，Swagger UI 按 tag 分组显示。
- whiteboard_controller 残留「白板/笔画/修改次数」改为「记事本/文本/编辑次数」。

复制链接：
- 记事本页加「复制链接」按钮，复制 {origin}/wb/{id} 分享链接（保留「复制文本」）。
 2026-07-21 15:04:02 +00:00
zikai
655e039aad refactor: 白板从画笔画板改为文本记事本 
原实现是 Canvas 画笔画板，与「文字白板/记事本」需求不符。重做为纯文本实时协作：
- model：strokes JSON -> content TEXT + version INT（乐观锁）+ edit_count；
  schema/dao/service 同步重构，append_stroke/replace_strokes -> update_content。
- WS 协议：stroke -> edit（发完整文本，debounce 400ms）；init 下发 content/version。
  update 帧广播给他人，cleared 广播给所有人。
- 前端：canvas -> textarea；收到远端 update 用最长公共前后缀算变更区间，
  仅替换该区间并保留光标（区间前不动/后平移/内移末尾）；清空/复制文本按钮。
- schema.sql 更新 whiteboard 表 DDL；DB 旧表 DROP 重建（开发环境）。
- 测试脚本与 README 同步更新。
 2026-07-21 15:00:25 +00:00
zikai
7bacc33679 fix: fmtBytes 大文件显示成 PiB（累除逻辑错误）+ 改用 KB/MB/GB 单位 
原实现循环里 n = x / 1024 每次都用原始 x 除一次，未累除，导致大文件
一路跌到 PiB 分支显示错误值。改为 while 循环每次 x /= 1000 累除，
单位改为 B/KB/MB/GB/TB/PB（1000 进制），B 显示整数其余保留 1 位小数。
 2026-07-21 14:52:44 +00:00
zikai
7188c62d3a refactor: 白板路由改 /wb 前缀，消除 HTML 与 REST 同路径冲突 
问题：GET /whiteboard/{board_id} 同时被 REST（返回 JSON）与 main.py 的 HTML 页面
注册，FastAPI 按注册顺序匹配到 REST，导致浏览器访问拿到 JSON 而非前端页面。

改为按职责分命名空间，避免冲突：
- HTML 页面：/wb/{id}（main.py）、/wb-admin（main.py，Basic Auth）
- 公开 REST：GET /api/wb/{id}（前端 init 拉取初始笔画）
- WS：/ws/wb/{id}（实时同步 + 心跳）
- 管理 REST：GET /api/admin/wb、DELETE /api/admin/wb/{id}（Basic Auth）

前端 whiteboard.js / whiteboard_admin.js、测试脚本、README 路径同步更新。
旧 /whiteboard/* 路径不再注册（404）。
 2026-07-21 14:51:33 +00:00
zikai
3284269399 fix: 复选框初始状态错误（el 对布尔属性用 setAttribute 导致 checked:false 仍勾选） 
common.js 的 el() 对 checked/disabled/hidden 等布尔属性调用 setAttribute(k, v)，
而 setAttribute("checked", "false") 仍会令 checkbox 呈勾选态（属性存在即为真）。
改为维护 BOOL_PROPS 集合，布尔属性用 node[k] = !!v 赋值；同时 v === false 时跳过 setAttribute。
修复后文件浏览页复选框初始未选中时正确显示为未勾选。
 2026-07-21 14:41:10 +00:00
zikai
41580a9025 feat: 文件浏览页支持多选、批量下载/删除与分页 
- 后端：
  - UploadService.delete_file 下沉删除逻辑（DB 行 + 磁盘文件），单删/批删复用。
  - POST /api/admin/files/batch-delete：批量硬删除，返回 deleted 数与 not_found 列表。
  - list 接口加 Query 约束（limit 1-10000、offset>=0），非法返回 422。
- 前端（file_browser）：
  - 复选框列 + 全选/反选，选中行高亮，批量操作栏（已选计数/下载/删除/取消）。
  - 分页控件：每页 20/50/100/全部 切换，页码导航（首页/末页/当前±1/省略号）。
  - 批量下载逐个触发（间隔 150ms 防浏览器拦截）；批量删除走 batch-delete 接口。
  - 删除后重载当前页，当前页空则回退一页。
 2026-07-21 14:37:13 +00:00
zikai
fffba79022 feat: 文件浏览页 + 共享白板 + 白板管理页（含补登记分片上传/隧道历史改动） 
本次提交包含两批改动（7月2日遗留未入库 + 本次新功能），分述如下：

【补登记：7月2日已上线但未提交的功能】
- 分片上传：chunk_upload_controller/service/dao + UploadSession model/schema，
  支持 4MiB 分片、乱序、断点续传、去重、幂等 complete；后台 reaper 清理过期会话。
- 反向隧道：tunnel_controller/service/dao + TunnelSession model/schema，
  SSH remote forward 经 /api/userPort/{userName} 反代到 user 本地服务。
- 上传页：views/upload_html.py（拖拽/多文件/分片/断点续传 UI）。
- config.py：StorageConfig.chunk_session_dir/ttl、TunnelConfig；
  requirements.txt 加 httpx；start.sh 清理 .work/ 残留；
  schema.sql 加 upload_session/tunnel_session 表；sftp_server 承载隧道转发。

【本次新功能】
- 文件浏览页：GET /files（Basic Auth 同 docs）+ /api/admin/files（list/get/download/DELETE）。
  硬删除（DB 行 + 磁盘文件），删除后列表不再显示。前端 static/file_browser.*。
- 共享白板：GET /whiteboard/{id}（公开，不存在则新建）+ WS /ws/whiteboard/{id}。
  MySQL 持久化（whiteboard 表），Canvas 实时同步，心跳 3s/5 次失活移除，
  清空/复制按钮，移动端兼容。WhiteboardHub 管理 {board_id: set[Connection]}，
  disconnect 幂等 + 空 set 清理防泄漏，broadcast 失败连接自动移除。
- 白板管理页：GET /whiteboard-admin（Basic Auth）+ /api/admin/whiteboards（list/DELETE）。
  删除时 hub.close_board 踢出在线连接。
- 清理：合并 UploadService.get_out_with_disk_path（下载/删除复用，消除重复 DB 读），
  移除无用 resolve_disk_path。
- config.py：WhiteboardConfig（heartbeat/threshold/board_id 长度/list_limit）；
  schema.sql 加 whiteboard 表；README 补新接口与心跳/内存说明。
- 验证：tests/manual_whiteboard_hub.py / _ws.py / _kick.py 全部通过。
 2026-07-21 14:28:13 +00:00
zikai
e5a725fc91 fix: database.py 懒初始化引擎 + list_files 返回真实 total 
- database.py: engine/SessionLocal 改为延迟创建，避免 import 时副作用，
  并提供 dispose_engine() 支持配置热重载
- dao/uploaded_file_dao.py: 新增 count() 方法
- upload_service.py: list_files() 改用 dao.count() 返回数据库总条数，
  修复之前返回当前页条目数导致分页 total 语义错误的问题
 2026-06-24 07:42:30 +00:00
zikai
fda635ccbd refactor: 抽出 _commit / _make_storage_path 复用两条上传路径 2026-06-23 16:29:39 +00:00
zikai
6c7d3f1272 feat: 增加 /api/files/exists 与 /api/files/register-sftp 接口 
- DAO 增加 get_by_sha256
- UploadService 抽出 _to_response 复用；新增 find_by_sha256、register_sftp
- 控制器新增两条路由（注意排在 /{file_id} 之前以避免被吞）
- 引入 SftpRegisterRequest schema
- SFTP 服务启动时自动创建 uploads/incoming/
- 行为：路径穿越 400、文件不存在 404、sha256 已存在则去重返回已有行
 2026-06-23 16:22:03 +00:00
zikai
80b96d236f init: 从 /root/zikai 根目录迁入 
把原本散落在 /root/zikai 的 FastAPI 服务整理到 server/ 子目录，
开启独立 git 与 venv。运行时数据（config.yaml / keys / uploads）
按 .gitignore 留在工作目录但不入仓。
 2026-06-23 16:17:31 +00:00