Skip to Content

数据导入与导出

可以在数据管理中批量导入表格和多媒体文件、创建账户,或者按条件导出数据。

🚀

Zion 最大支持导入 1000 万行级的数据;在后端并发状态下,每分钟导入吞吐量可达 10 万行

批量导入业务数据

导入流程包括准备文件、配置映射和处理冲突。

准备数据文件

准备 Excel 或 CSV 文件:

  • 表格格式
    • 支持 .xlsx 格式的 Excel 文件,或使用 UTF-8 编码的 .csv 文本文件。
    • 结构要求:表格第一行必须是列名(表头)。
    • 空白处理:空白单元格不能包含不可见空格、换行或占位符。
    • 表格内必须至少包含 1 行实际业务记录。表格单元格中不支持 Excel 自带的复杂公式计算。
  • 多媒体文件: 导入头像、商品封面或附件时,需要额外准备一个 ZIP 压缩包:
    1. 将多媒体文件放入 ZIP 压缩包,可直接置于根目录,也可放入任意命名的子目录,无需再按 image/video/file 分类建文件夹
    2. 文件类型:映射到“图片”字段时作为图片导入,映射到“文件”字段时作为附件导入。同一文件映射到多个不同类型字段时会分别导入。
    3. 文件路径:Excel 或 CSV 中的值必须与文件在 ZIP 中的相对路径完全一致,如 cover.pngproducts/cover.pngmanual.pdf
    4. 打包压缩:直接框选文件或文件夹执行 ZIP 压缩,请勿额外套一层父文件夹后再压缩。

表格文件示例

上传并选择导入类型

  1. 进入项目“数据管理”工作区,点击左下角的 “导入数据”
  2. 上传 Excel 或 CSV 文件,并按需上传多媒体 ZIP 文件。
  3. 选择导入的模式:
    • 添加:将数据作为新记录写入数据库。
    • 修改:根据主键 id 更新已有记录。

上传文件

配置实体与字段映射

  • 表映射
    • CSV 文件或 Excel 中的不同工作表可以映射到不同的数据表。系统表不支持普通数据导入。
  • 字段映射
    • 将表格列映射到数据表字段,不需要导入的列可以选择“忽略”。
    • 多媒体字段映射:映射到图片、视频或文件字段后,系统会从 ZIP 中读取对应文件并上传。
    • 经纬度字段:若导入地址经纬度,需要先选择坐标系类型(如 WGS84、国测局、百度等),并分别将表格中的经度列、纬度列分别与之进行配对映射。

表和字段的映射

关联记录映射

关联字段保存的是目标记录的 id。但在待导入的 Excel 或 CSV 文件中,通常只有用户名、邮箱或其他业务字段,而没有目标记录的 id

配置关联字段映射时,可以使用文件中的某一列,在关联表中匹配对应记录。例如,使用文件中的“作者用户名”匹配账户表的“用户名”,系统找到对应账户后,将其 id 写入文章的作者关联字段。

用于匹配的字段应具有唯一约束。否则,当多条记录拥有相同值时,系统无法确定应关联哪一条记录。

配置关联表映射

配置唯一约束与冲突判定

导入模式为“添加”且数据表包含唯一约束时,需要选择冲突处理策略:

  1. 跳过:忽略冲突记录,继续导入其他记录。
  2. 修改(覆盖):使用导入数据更新发生冲突的已有记录。
  3. 中止:遇到冲突后停止整个导入任务,并记录错误。

冲突处理配置

触发器白名单选择

如果数据表配置了数据库触发器,可以选择导入时需要运行的触发器。

预览并执行导入

  • 预览数据:系统展示前 10 行数据,用于确认格式和内容。
  • 原子执行:如果导入过程中发生数据或系统错误,本批次不会写入任何数据。因冲突处理策略而“跳过”的记录不属于导入错误,不会触发整批回滚。

批量导入账户

账户导入使用独立流程,只能创建账户,不能按 id 更新已有账户。

选择登录方式并准备文件

  1. 账户文件需要与项目启用的用户名、手机号或邮箱登录方式对应。
  2. 设置 → 登录设置中至少启用一种登录方式。
  3. 准备表格,表格第一行表头中必须提供“密码”列,以及“手机号”、“用户名”或“邮箱”中至少一列作为登录账号匹配主键。

执行导入映射

在数据库左下角点击导入账户并上传表格。密码保存在不对项目开放的内部凭证表中;用户名、邮箱和手机号会写入对应的账户字段。

设定冲突策略并导入

  • 手机号、用户名或邮箱重复时,选择“跳过”或“终止”。点击导入后,系统会批量创建账户。

导出数据

选择要导出的数据范围

  1. 点击“数据管理后台”左下角的 “导出数据”
  2. 选择自定义表、系统表或自定义视图。
  3. 配置过滤、排序和需要导出的字段。

配置格式与多媒体选项

  • 导出格式:支持 Excel(.xlsx)或 CSV。导出多张关联表时,Excel 使用同一工作簿中的多个工作表,CSV 使用多个文件并打包为 ZIP。
  • 多媒体文件:开启后,相关图片、视频和文件会分别放入 imagevideofile 文件夹,并与表格一起打包导出。

数据导出

下载导出文件

  • 点击导出。完成后,可以在历史记录中下载文件,文件保留 7 天

排查导入错误

导入失败后,可以在历史中下载错误日志。日志行号与表格行号对应,第一行表头之后的数据从第 2 行开始。

错误代码 / 提示原因处理方法
NO_MATCHING_MEDIA在上传的多媒体 ZIP 包中,未能按表格中填写的路径找到对应的图片、视频或附件。1. 检查表格中填写的路径是否与压缩包内文件的实际相对路径(含大小写、子目录)完全一致。
2. 确认对应文件确实存在于 ZIP 包内。
unique_constraint_violation表格中存在重复信息,或与已有数据库记录冲突,违反了唯一约束(Unique)。1. 剔除表格中的重复数据。
2. 选择更符合业务需求的冲突处理策略(如选择“跳过”或“修改”)。
MISMATCHED_DATA_TYPE字段的数据类型不匹配(例如将含有汉字的字符串填入了整数列中)。清洗表格中对应行和列的内容,使数据格式和数据库声明的类型完全保持一致。
INTERNAL_ERROR导入过程中发生未归类的处理错误,可能有多种原因。重试导入;如果问题持续存在,请保留导入任务和错误日志信息并联系支持人员。
Last updated on