Commit Graph

8 Commits

Author SHA1 Message Date
KodouWZF
456b1ea62d perf(传输): 已压缩格式组包时不再二次压缩
pptx/docx/xlsx/zip/mp4/jpg 这类本身已压缩的格式,再跑一遍 level 6 deflate
压缩率接近 0,但 CPU 照样全量消耗(约 0.04 秒/MB)。改为按文件名后缀判断,
命中清单的 entry 用 Deflater.NO_COMPRESSION,其余保持默认 level 6。

不用 ZipEntry.STORED 是因为它要求预先提供 size 和 CRC-32,会多一遍顺序读;
level 0 产出的仍是合法 zip(DEFLATE 存储块),接收端解包与校验逻辑无需改动。
清单从严,只收确定已压缩的格式,避免可压缩文件被误判导致包体变大。
元数据 JSON 可压缩,写它之前显式还原 level。
2026-11-03 22:07:00 +08:00
KodouWZF
c5d19f47a2 perf(传输): xs_file_record.md5_code 补索引
文件入库时用 MD5 做内容去重查询(FileServiceImpl 上传后 find(md5Code)),
该列此前没有索引,每个文件入库都是一次全表扫描。解包一个含 N 个文件的
传输包就是 N 次全表扫描,300 人规模下 xs_file_record 达数万行时,
单文件入库可省几十到几百毫秒,100 个文件的包可省数秒到数十秒。

按 init 与 upgrade 双写:MySQL 版 DDL 加 KEY,PG 版加 CREATE INDEX,
新建 upgrade-20261103-transfer-perf.sql 供已上线环境增量执行
(DM8 走第 1 节,PG 走第 2 节,并给出 CONCURRENTLY 备选)。
交付包 sql/01-init-table.sql 按 README 要求从仓库整份覆盖,不手改副本。
2026-11-03 22:03:33 +08:00
KodouWZF
06fb35b984 perf(传输): 摆渡目录监听周期 1 分钟改为 5 秒
端到端延迟里有一半是轮询空等:收发两侧各等一次,1 分钟周期下平均空等
60 秒、最坏 120 秒,这是「一页文件也要 2 分钟」的主因,而真正干活不到 2 秒。

改成 5 秒是安全的:空目录一轮只有两次 Files.list + 过滤,开销可忽略;
Spring 的 cron 任务要等上一轮跑完才排下一轮,同一实例内不会重叠。
副作用是损坏包被更频繁重试(失败包当前不删除也不改名,mtime 最老所以
每轮排第一),彻底解决靠方案 5.2 的 .error 改名让位。

部署说明第 10 条原来写「不要改成秒级」,与新默认值矛盾,一并纠正。
2026-11-03 22:01:25 +08:00
KodouWZF
4114c1f434 perf(传输): 组包与解包缓冲区 512B/8KB 提升到 64KB
JDK8 的 ZipOutputStream 内部 deflate 输出缓冲硬编码 512 字节且不可配置,
必须在外层包 BufferedOutputStream 才能减少落盘次数;读侧 8KB 同样偏小。
传输目录与文件存储目录都是宿主机 bind mount,单次 syscall 可能跨
FUSE/网络/光闸监控驱动边界,实测成本约 1ms,小缓冲把耗时放大数十倍。

改 5 处:组包输出流、组包读源文件、解包输入流、解包读 entry、
本地存储落盘。每 MB 的 syscall 次数从 2176 降到 32,
按实测模型 50MB 组包从约 117s 降到约 3.8s。

方案见 backend/docs/传输链路性能优化方案.md 第 5.3 节。
2026-11-03 21:57:28 +08:00
KodouWZF
f817bf0701 docs(传输): 跨网传输链路性能优化方案与现场验证方法
现场反馈一页文件要 2 分钟才进内网。实测组包 19.6MB 耗时 45.9s,
其中 SQL 仅 57ms,其余全在文件 I/O,折算 2.33 秒/MB,比正常 deflate
慢 50-100 倍,根因是 512B/8KB 小缓冲在 bind mount 上放大 syscall 次数。

沉淀耗时归因模型、不改代码即可切分端到端 6 段的现场测量方法、
6 项优化的改法与验收标准,以及本次明确不做的事及理由。
2026-11-03 21:57:15 +08:00
KodouWZF
4eb67e246e feat(交付): 客户侧两台服务器离线部署包
内网机/外网机各起一套栈,两台之间不开任何端口,文件只经光闸在
gate/out 与对端 gate/in 之间单向摆渡。一份 compose + 一份 config +
一份 nginx 模板,全部差异收在 .env 里。

- docker-compose.yml:5 服务只发布前端端口;app 容器 IP 锁死并由
  compose 注入 -Dcode.snowflake.workid.<IP>=<WORK_ID>,绕开兜底 99
  超雪花 5 位上限导致启动即崩的问题
- .env.iw / .env.ow:出厂配置与随机口令已填好,仅 MESHSAFE_SECRET
  故意留占位(以 MeshSafe 侧白名单为准);按 maintainer 决定原样入库
- install.sh iw|ow:按角色建 .env -> 自检 -> sha256 校验 tar -> 架构
  核对 -> docker load 后校验 tag -> 建目录/属主/SELinux 标签 -> 起栈
  并逐个等健康。修掉 pipefail 下 `grep | head -1` 静默中断、架构字段
  误读 manifest.json(实际在 Config blob)、die() 未定义先被调用
- export-images.sh:就地刷新 images/*.tar、sql、.env 的 tag 与
  SHA256SUMS,再打 dist 交付盘;tar 与 SHA256SUMS 由 .gitignore 排除
- sql/01+02:从 backend/db 的 PG 全量与初始数据覆盖拷贝。三个
  upgrade-*.sql 的 PG 段(x_upload_config、x_file_security)已在
  init-table-postgres-full.sql 内,空库跑 01->02 即完整现状
- smoke_test.py:18 条断言的现场验收,凭证全部走环境变量
- 部署说明.md:拓扑、交付清单、出厂口令表、iw/ow 差异、验收清单、
  13 条已知坑

镜像 tar 不进 git,装机包由 export-images.sh 出盘。
v1.0.0
2026-11-02 20:40:16 +08:00
KodouWZF
3910239b87 fix(前端): 弹窗内容被长文件名撑破右边框
DialogContent 的 grid 用隐式 auto 轨道,轨道 min 受 grid item 的
min-width:auto 支配。传输/分享确认框里「被拦截文件清单」是不换行文本,
把 400px 弹窗(扣 p-6 后仅 350px 可用)的轨道顶到 386.8px,
内容整体从右边框外溢 11px。

- dialog.tsx 加 grid-cols-1,轨道只跟容器宽,24 个弹窗共用此修复
- SecuritySkipWarning 的文件名由 truncate 改 break-all:原截断把要警告
  的文件名省略号掉了,用户看不清哪几个文件被拦

实测(重建 sfile-web 镜像后):轨道 350px、告警块右边缘 939 <= 弹窗 963、
清单横向溢出 0、4 条文件名完整可读;移动/分享/传输三个弹窗回归无溢出,
全屏预览弹窗的 flex 经 tailwind-merge 覆盖基类 grid,不受影响。
2026-11-02 20:39:45 +08:00
KodouWZF
47273ae3fd init: 信创文件安全传输系统内外网本地 Docker 部署
包含 s-file 后端、React 前端、MeshSafe 安全检测对接,以及内外网两套
compose/nginx/配置(仅前端 28180/28280 对外发布,其余端口不暴露)。

说明:deploy/config/application-iw.yml 与 application-ow.yml 按维护者
明确要求原样入库,其中含本机 Docker 用的库口令、RabbitMQ 口令与 JWT
密钥;上生产前需替换。
2026-11-02 10:59:03 +08:00