使用组件:谷歌BigQuery目的地

使用谷歌BigQuqery目标组件的输出数据流存储在BigQuery表。目标组件存储数据在中间到谷歌云存储,然后使用BigQuery的API将数据导入到它。

连接

选择一个已存在的谷歌BigQuery连接或创建一个新的(有关更多信息,请参见允许集成。io ETLaccess to my Google BigQuery dataset)。

目的地属性

• 目标表——目标表的名称BigQuery数据集。默认情况下,如果表不存在,它将被自动创建。
• 如果它不存在自动创建表——如果不加以控制和表不存在,工作失败。
• 自动添加缺失的列——当检查,工作将检查每个表中指定列的存在,如果不存在,它将增加。注意:取消这个如果你的目标是一个分区表(见下文)。

分区表中插入数据

数据可以被插入到一个分区表指定分区使用美元符号表插入分区(例如事件20160405美元)。

操作类型

追加(插入)违约行为。数据只会被添加到目标表

覆盖(截断和插入)——现有表将被删除,然后用新插入数据表将被重塑

与现有的数据合并——输入数据与表中现有的数据合并。需要正确设置合并键字段映射。合并在以下方式:

• 创建临时表和数据流的数据存储。
• 目标表复制到一个新表(目标副本)和清理。
• 数据存在于staging表中不存在目标副本插入到目标表。(最新数据)
• 在分期存在的数据表和目标副本加入,列值取自staging表,除非他们是null。(老/更新数据)。
• staging表和目标副本表都下降了。
• 在一个错误的情况下,这个过程试图复制目标副本回原来的表。

注意:在合并中,输入数据必须是唯一的根据您选择的关键字段。您可能使用聚合组件或限制组件(分区键字段(s)和限制1记录每个分区)确保关键字段确实是独一无二的。

高级选项

• 最大的错误——如果这个数字的错误发生在BigQuery加载数据表时,工作失败。

模式映射

数据字段映射到目标表的列。列定义为键将被用作集成时的排序键。io ETL创建表。如果使用合并操作,您必须选择至少一个字段或多个字段作为键,将用于惟一地标识表中的行合并操作。

集成的数据类型。io ETLare mapped as follows when the table is created automatically. Note that since Integrate.io ETL doesn't have a notion of maximum string length, the string columns are created with the maximum length allowed in BigQuery.