zWorkFlow

Author SHA1 Message Date

Author	SHA1	Message	Date
phoenixray2000	5e0eaa33fa	feat(export): 增加微信聊天增量 JSON 导出 (#122 ) 新增 export_all_chats --delta-only 按时间窗口导出每个会话的增量 JSON. - --delta-only 写入 deltas/<run_id>/manifest.json + 有消息的会话文件, 便于后续按批次消费 - 沿用现有 CSV plan 选择逻辑, 可通过 --from-plan-csv 控制范围 - 空时间窗口会话直接跳过, 不再生成 message_count=0 的 delta 文件 - 增量 JSON 保留会话级 metadata, 不改变现有 CSV 导出默认流程 - manifest.json 只记录实际有消息的会话, 无法解析的留在 errors 中便于定位测试: tests/test_export_all_chats_delta.py 7 个 case (run_id 时间戳形状 / 文件名安全化 / msg_uid 哈希组成 / 写窗口不覆盖全量 JSON / 空窗口跳过 / CLI 参数校验 / manifest 记录文件). 跟 #114 (CSV plan) 互补 — CSV plan 选 "哪些会话" 而 delta 选 "哪个时间窗口".	2026-05-29 13:18:53 +08:00
phoenixray2000	728dbb72df	feat(export): 支持 CSV 计划导出和稳定导出索引 (#114 ) 两个核心增强: 1. CSV 计划导出工作流 (`--write-plan-csv` / `--from-plan-csv`) - 支持 blacklist (export=0 跳过) / whitelist (export=1 导出) 两种模式 - `--size-mode estimate\|scan` 控制是否扫本地附件 - UTF-8 BOM 编码, Excel/WPS 直接打开 - 解决了之前"动不动全量导出"的痛点 2. `_export_index.json` 稳定导出索引 - 用 username 追踪当前 JSON 文件 - 联系人备注/群名变化时自动重命名旧文件 (而不是产生孤儿) - 同名联系人冲突时自动追加 `__<username>` 后缀 - atomic write (tmp + os.replace), bootstrap from existing files 3. JSON metadata 扩展 - 新增 `date_first_msg / date_last_msg / contact_remark / contact_nick_name / contact_tags / contact_memo` 测试: 717 行, 20 tests pass, 覆盖 CRUD 索引、黑白名单、命名冲突、incremental rename、UTF-8 BOM。	2026-05-19 02:20:30 +08:00
btc-z	edf2c0940a	feat: 新增聊天导出与语音转录 CLI 脚本 (#57 ) * feat: 新增聊天导出与语音转录 CLI 脚本新增两个独立 CLI 脚本，用于将单个聊天导出为结构化 JSON、并批量填充语音消息的 Whisper 转录。区别于 MCP 工具：这些脚本面向离线导出/归档，适合一次性拉取大量消息，或在会话外喂给其他 LLM/索引管线使用。 - export_chat.py：跨分片合并某个聊天的全部消息，按时间排序后输出紧凑 JSON（type 为 text 时省略，is_group 仅群聊保留等）。复用 mcp_server 中的消息解析/发送者解析辅助函数。 - transcribe_chat.py：读入 export_chat.py 产出的 JSON，对所有尚未转录的 voice 消息调用 Whisper，原地写回 transcription 字段。幂等（已有 transcription 的消息跳过）、崩溃安全（每条写回一次输出文件）。 - .gitignore：新增 .json 通配，避免本地导出文件被误提交。 config.example.json 已被跟踪，不受影响。修复：transcribe_chat.py 原先调用 _silk_to_wav 时缺少 local_id 参数（commit `c149389` 将 local_id 加入签名用于文件名唯一化），本 PR 中已补齐。 docs: 新增聊天导出 JSON 数据格式文档新增 docs/chat_export_format.md，描述 export_chat.py 与 transcribe_chat.py 产出的 JSON schema：顶层字段、消息对象的必填/ 可选字段、默认值省略规则，以及加载与过滤的 Python 示例。与现有 docs/macos-.md 指南风格一致，避免在脚本 docstring 中堆叠大段表格。export_chat.py 的 docstring 加一行指针指向本文档。 docs: 聊天导出格式文档翻译为中文与 docs/macos-.md 既有指南保持一致的语言风格，将 docs/chat_export_format.md 翻译为中文。JSON 字段名、Python 代码示例等技术标识保持英文不变。 fix: 回应 PR #57 review — 崩溃处理、幂等性、schema 补全根据 review (#57) 的反馈: - export_chat.py: _resolve_chat_context 返回 None 时的崩溃改为友好退出，并在 resolve 成功后打印 display_name (username)，便于用户核对 resolve_username 的模糊匹配结果。 - export_chat.py: _query_messages 的 limit=999999 改为 None，避免超长历史被悄悄截断（_query_messages 对 None 会省略 LIMIT 子句）。 - export_chat.py: 输出 JSON 顶层新增 username 字段，让 transcribe_chat.py 可以跳过二次模糊匹配，避免同名联系人漂移。 - transcribe_chat.py: 优先读取 JSON 顶层的 username，旧导出文件（无 username）回退到按 chat 名解析，保持向后兼容。 - transcribe_chat.py: 删除未使用的 import io / import wave，将循环内的 import datetime 提至模块顶部。 - export_chat.py: _decode_sticker_desc 的 varint 单字节简化给出注释说明局限，以及对 create_time 排序加 "or 0" 防御。 - export_chat.py / transcribe_chat.py: 模块 docstring 翻译为中文，与 docs/macos-.md 保持一致。 - docs/chat_export_format.md: 同步补充 username 字段说明。 - .gitignore: 将 .json 收窄为 _export.json / _transcribed.json，避免误屏蔽未来的 config/fixtures，同时匹配导出工具实际产出的文件名。	2026-04-25 00:16:37 +08:00

phoenixray2000

5e0eaa33fa

feat(export): 增加微信聊天增量 JSON 导出 (#122 )

新增 export_all_chats --delta-only 按时间窗口导出每个会话的增量 JSON.

- --delta-only 写入 deltas/<run_id>/manifest.json + 有消息的会话文件, 便于后续按批次消费
- 沿用现有 CSV plan 选择逻辑, 可通过 --from-plan-csv 控制范围
- 空时间窗口会话直接跳过, 不再生成 message_count=0 的 delta 文件
- 增量 JSON 保留会话级 metadata, 不改变现有 CSV 导出默认流程
- manifest.json 只记录实际有消息的会话, 无法解析的留在 errors 中便于定位

测试: tests/test_export_all_chats_delta.py 7 个 case (run_id 时间戳形状 / 文件名安全化 / msg_uid 哈希组成 / 写窗口不覆盖全量 JSON / 空窗口跳过 / CLI 参数校验 / manifest 记录文件).

跟 #114 (CSV plan) 互补 — CSV plan 选 "哪些会话" 而 delta 选 "哪个时间窗口".

2026-05-29 13:18:53 +08:00

phoenixray2000

728dbb72df

feat(export): 支持 CSV 计划导出和稳定导出索引 (#114 )

两个核心增强:

1. **CSV 计划导出工作流** (`--write-plan-csv` / `--from-plan-csv`)
   - 支持 blacklist (export=0 跳过) / whitelist (export=1 导出) 两种模式
   - `--size-mode estimate|scan` 控制是否扫本地附件
   - UTF-8 BOM 编码, Excel/WPS 直接打开
   - 解决了之前"动不动全量导出"的痛点

2. **`_export_index.json` 稳定导出索引**
   - 用 username 追踪当前 JSON 文件
   - 联系人备注/群名变化时自动重命名旧文件 (而不是产生孤儿)
   - 同名联系人冲突时自动追加 `__<username>` 后缀
   - atomic write (tmp + os.replace), bootstrap from existing files

3. **JSON metadata 扩展**
   - 新增 `date_first_msg / date_last_msg / contact_remark / contact_nick_name / contact_tags / contact_memo`

测试: 717 行, 20 tests pass, 覆盖 CRUD 索引、黑白名单、命名冲突、incremental rename、UTF-8 BOM。

2026-05-19 02:20:30 +08:00

btc-z

edf2c0940a

feat: 新增聊天导出与语音转录 CLI 脚本 (#57 )

* feat: 新增聊天导出与语音转录 CLI 脚本

新增两个独立 CLI 脚本，用于将单个聊天导出为结构化 JSON、并批量
填充语音消息的 Whisper 转录。区别于 MCP 工具：这些脚本面向离线
导出/归档，适合一次性拉取大量消息，或在会话外喂给其他 LLM/索引
管线使用。

- export_chat.py：跨分片合并某个聊天的全部消息，按时间排序后输出
  紧凑 JSON（type 为 text 时省略，is_group 仅群聊保留等）。复用
  mcp_server 中的消息解析/发送者解析辅助函数。
- transcribe_chat.py：读入 export_chat.py 产出的 JSON，对所有尚
  未转录的 voice 消息调用 Whisper，原地写回 transcription 字段。
  幂等（已有 transcription 的消息跳过）、崩溃安全（每条写回一次
  输出文件）。
- .gitignore：新增 *.json 通配，避免本地导出文件被误提交。
  config.example.json 已被跟踪，不受影响。

修复：transcribe_chat.py 原先调用 _silk_to_wav 时缺少 local_id
参数（commit c149389 将 local_id 加入签名用于文件名唯一化），
本 PR 中已补齐。

* docs: 新增聊天导出 JSON 数据格式文档

新增 docs/chat_export_format.md，描述 export_chat.py 与
transcribe_chat.py 产出的 JSON schema：顶层字段、消息对象的必填/
可选字段、默认值省略规则，以及加载与过滤的 Python 示例。

与现有 docs/macos-*.md 指南风格一致，避免在脚本 docstring 中堆叠
大段表格。export_chat.py 的 docstring 加一行指针指向本文档。

* docs: 聊天导出格式文档翻译为中文

与 docs/macos-*.md 既有指南保持一致的语言风格，将
docs/chat_export_format.md 翻译为中文。JSON 字段名、Python
代码示例等技术标识保持英文不变。

* fix: 回应 PR #57 review — 崩溃处理、幂等性、schema 补全

根据 review (#57) 的反馈:

- export_chat.py: _resolve_chat_context 返回 None 时的崩溃改为友好
  退出，并在 resolve 成功后打印 display_name (username)，便于用户
  核对 resolve_username 的模糊匹配结果。
- export_chat.py: _query_messages 的 limit=999999 改为 None，避免
  超长历史被悄悄截断（_query_messages 对 None 会省略 LIMIT 子句）。
- export_chat.py: 输出 JSON 顶层新增 username 字段，让
  transcribe_chat.py 可以跳过二次模糊匹配，避免同名联系人漂移。
- transcribe_chat.py: 优先读取 JSON 顶层的 username，旧导出文件
  （无 username）回退到按 chat 名解析，保持向后兼容。
- transcribe_chat.py: 删除未使用的 import io / import wave，将循环
  内的 import datetime 提至模块顶部。
- export_chat.py: _decode_sticker_desc 的 varint 单字节简化给出
  注释说明局限，以及对 create_time 排序加 "or 0" 防御。
- export_chat.py / transcribe_chat.py: 模块 docstring 翻译为中文，
  与 docs/macos-*.md 保持一致。
- docs/chat_export_format.md: 同步补充 username 字段说明。
- .gitignore: 将 *.json 收窄为 *_export*.json / *_transcribed*.json，
  避免误屏蔽未来的 config/fixtures，同时匹配导出工具实际产出的
  文件名。

2026-04-25 00:16:37 +08:00

3 Commits