phoenixray2000
5e0eaa33fa
feat(export): 增加微信聊天增量 JSON 导出 ( #122 )
...
新增 export_all_chats --delta-only 按时间窗口导出每个会话的增量 JSON.
- --delta-only 写入 deltas/<run_id>/manifest.json + 有消息的会话文件, 便于后续按批次消费
- 沿用现有 CSV plan 选择逻辑, 可通过 --from-plan-csv 控制范围
- 空时间窗口会话直接跳过, 不再生成 message_count=0 的 delta 文件
- 增量 JSON 保留会话级 metadata, 不改变现有 CSV 导出默认流程
- manifest.json 只记录实际有消息的会话, 无法解析的留在 errors 中便于定位
测试: tests/test_export_all_chats_delta.py 7 个 case (run_id 时间戳形状 / 文件名安全化 / msg_uid 哈希组成 / 写窗口不覆盖全量 JSON / 空窗口跳过 / CLI 参数校验 / manifest 记录文件).
跟 #114 (CSV plan) 互补 — CSV plan 选 "哪些会话" 而 delta 选 "哪个时间窗口".
2026-05-29 13:18:53 +08:00
phoenixray2000
728dbb72df
feat(export): 支持 CSV 计划导出和稳定导出索引 ( #114 )
...
两个核心增强:
1. **CSV 计划导出工作流** (`--write-plan-csv` / `--from-plan-csv`)
- 支持 blacklist (export=0 跳过) / whitelist (export=1 导出) 两种模式
- `--size-mode estimate|scan` 控制是否扫本地附件
- UTF-8 BOM 编码, Excel/WPS 直接打开
- 解决了之前"动不动全量导出"的痛点
2. **`_export_index.json` 稳定导出索引**
- 用 username 追踪当前 JSON 文件
- 联系人备注/群名变化时自动重命名旧文件 (而不是产生孤儿)
- 同名联系人冲突时自动追加 `__<username>` 后缀
- atomic write (tmp + os.replace), bootstrap from existing files
3. **JSON metadata 扩展**
- 新增 `date_first_msg / date_last_msg / contact_remark / contact_nick_name / contact_tags / contact_memo`
测试: 717 行, 20 tests pass, 覆盖 CRUD 索引、黑白名单、命名冲突、incremental rename、UTF-8 BOM。
2026-05-19 02:20:30 +08:00
Dru / Lu Rui
d86e0acad1
feat: macOS 自动检测微信数据目录 + 部署排错文档 ( #80 )
...
* feat: macOS 自动检测微信数据目录
新增 _auto_detect_db_dir_macos() 函数，搜索 ~/Library/Containers/ 下的
xwechat_files/*/db_storage 目录，按 mtime 排序优先最近活跃账号。
同时改进检测失败时的提示信息，macOS 给出正确的默认路径格式。
* docs: 记录 macOS 部署常见问题及修复方案
记录 task_for_pid failed:5、自动检测 db_dir 失败、
PEP 668 pip 安装拒绝三个问题的现象、原因和解决方法，
附完整 macOS 部署流程和修复状态汇总。
* docs: 增强 README macOS 部署说明和常见问题
- 安装依赖部分补充 PEP 668 虚拟环境解决方案
- 修正 macOS db_dir 路径为正确的 xwechat_files 格式
- 快速开始增加重签名前退出微信的步骤
- 新增 macOS 密钥扫描常见问题排错章节
- task_for_pid failed:5 的原因和完整排查步骤
- 自动检测数据目录失败的临时解决方案
---------
Co-authored-by: drulu <drulu@tencent.com >
2026-05-12 16:18:30 +08:00
btc-z
edf2c0940a
feat: 新增聊天导出与语音转录 CLI 脚本 ( #57 )
...
* feat: 新增聊天导出与语音转录 CLI 脚本
新增两个独立 CLI 脚本，用于将单个聊天导出为结构化 JSON、并批量
填充语音消息的 Whisper 转录。区别于 MCP 工具：这些脚本面向离线
导出/归档，适合一次性拉取大量消息，或在会话外喂给其他 LLM/索引
管线使用。
- export_chat.py：跨分片合并某个聊天的全部消息，按时间排序后输出
紧凑 JSON（type 为 text 时省略，is_group 仅群聊保留等）。复用
mcp_server 中的消息解析/发送者解析辅助函数。
- transcribe_chat.py：读入 export_chat.py 产出的 JSON，对所有尚
未转录的 voice 消息调用 Whisper，原地写回 transcription 字段。
幂等（已有 transcription 的消息跳过）、崩溃安全（每条写回一次
输出文件）。
- .gitignore：新增 *.json 通配，避免本地导出文件被误提交。
config.example.json 已被跟踪，不受影响。
修复：transcribe_chat.py 原先调用 _silk_to_wav 时缺少 local_id
参数（commit c149389#57 review — 崩溃处理、幂等性、schema 补全
根据 review (#57 ) 的反馈:
- export_chat.py: _resolve_chat_context 返回 None 时的崩溃改为友好
退出，并在 resolve 成功后打印 display_name (username)，便于用户
核对 resolve_username 的模糊匹配结果。
- export_chat.py: _query_messages 的 limit=999999 改为 None，避免
超长历史被悄悄截断（_query_messages 对 None 会省略 LIMIT 子句）。
- export_chat.py: 输出 JSON 顶层新增 username 字段，让
transcribe_chat.py 可以跳过二次模糊匹配，避免同名联系人漂移。
- transcribe_chat.py: 优先读取 JSON 顶层的 username，旧导出文件
（无 username）回退到按 chat 名解析，保持向后兼容。
- transcribe_chat.py: 删除未使用的 import io / import wave，将循环
内的 import datetime 提至模块顶部。
- export_chat.py: _decode_sticker_desc 的 varint 单字节简化给出
注释说明局限，以及对 create_time 排序加 "or 0" 防御。
- export_chat.py / transcribe_chat.py: 模块 docstring 翻译为中文，
与 docs/macos-*.md 保持一致。
- docs/chat_export_format.md: 同步补充 username 字段说明。
- .gitignore: 将 *.json 收窄为 *_export*.json / *_transcribed*.json，
避免误屏蔽未来的 config/fixtures，同时匹配导出工具实际产出的
文件名。
2026-04-25 00:16:37 +08:00
bbingz
992c3f5ee4
fix: replace nonexistent scan_keys.js with actual tools in quickstart
...
Quickstart step 4 referenced scan_keys.js which doesn't exist in the
repo. Replace with find_all_keys_macos.c (Method A) and note Frida as
Method B requiring user's own script. Also add config.json note for
step 5.
2026-03-05 23:26:55 +08:00
bbingz
76dd2b6d95
fix: clear header reserved-space field and add per-page HMAC note
...
- Zero out SQLite header offset 20 (reserved-space) after decryption,
otherwise SQLite miscalculates usable page size
- Add comment noting production code should verify HMAC on every page,
not just page 1
2026-03-05 23:18:03 +08:00
bbingz
d4314c4857
fix: address review feedback on docs
...
- decrypt_page: zero-fill reserve for all pages (consistency)
- Move reserve into configs tuple for clarity
- Remove unused import os
- Trim duplicated permission content, reference permission guide
- Replace empty scan_keys.js shell with find_all_keys_macos reference
2026-03-05 21:55:10 +08:00
bbingz
98933d5987
docs: add macOS permission guide and 3.x vs 4.x decryption comparison
...
- macOS permission guide: SIP, task_for_pid, codesign requirements
- 3.x vs 4.x decryption guide: SQLCipher parameter differences,
multi-config DB handling, complete Python decryption examples
2026-03-05 21:48:35 +08:00
