データプレパレーション(データ前処理)に活用する

プレパレーション(前処理)という言葉は、古くからシステム開発やデータ処理で 使われてきており、昨今ではデータ分析のための前処理(データ整形・加工など)として使われることが多く、データプレパレーションツールも各種、市場に出回っています。

xoBlos(ゾブロス)データプレパレーションの役割で活用されることが多く、「前処理→データ分析」だけでなく、「前処理→システム連携」、 「前処理→パッケージ連携」、「前処理→Web API連携」「前処理→メール送信」、「前処理→Excelピボット」、「前処理→BI連携」、「前処理→システム移行」といった多くの活用シーンがあります。

そしてその特徴としては、Excelの特性を最大限に活かしたデータプレパレーション」が挙げられます。業務シナリオの設定にExcelを活用し、データのプレビューでもExcelが利用できます。

また、Excelでは扱えない大量データ処理が必要な場合は、内部DBを使用する「xobQuery(ゾブクエリ)」という仕組みも用意されています。

xoBlos(ゾブロス)データナビゲーションマップ

楕円形の図形は、データを登場人物としたステージ(舞台)であり、xoBlos の各手順種(ツール種類)に対応します。画像をクリックすると拡大します。

f:id:xoblos:20210812122845p:plain

凡例:登場人物ならぬ、登場データ

f:id:xoblos:20210809121223p:plain

Excel ファイル(xls、xlsx、xlsm ファイル)。

ブック、シート(表形式)、行・列、セルというデータ構成を持つ。

f:id:xoblos:20210809123325p:plain

CSV ファイル。

テキスト+カンマ区切り、またはテキスト+タブ区切りデータ。

f:id:xoblos:20210809123341p:plain

xoBlos 標準XMLファイル。

xoBlos で抽出されたXMLデータ(抽出データ、XML形式)。xoBlos で作成されたXMLデータ。

f:id:xoblos:20210809121237p:plain

テキストファイル。

固定長テキスト、不定型テキストなど。

f:id:xoblos:20210809123937p:plain

XML形式のML(マークアップランゲージ)ファイル。

xoBlos 以外の外部XML、HTML(XHTML)ファイルなど。

f:id:xoblos:20210809124111p:plain

DB(データベース)データ。RDB(リレーショナルデータベース)の table(テーブル)データ。テーブルは表としての形式を持つ。

xobQuery(ゾブクエリ)特設ステージ

f:id:xoblos:20210809200451p:plain

凡例:楕円形で表記したステージ(舞台)

図形略号 [新しい手順] メニュー 手順種名
Exporter [抽出データを作成する]-[Excelファイルから] Excel表から抽出
CSVXML [抽出データを作成する]-[CSVファイルから] 変換(CSV→抽出データ)
DB→XML [抽出データを作成する]-[データベースから] 変換(DB→抽出データ)
Importer [抽出データから出力する]-[Excel表を生成] Excel表を生成
XMLCSV [抽出データから出力する]-[CSVファイルを生成] 変換(抽出データ→CSV)
XMLXML

[抽出データを作成する]-[XMLファイルから]

[抽出データを作成する]-[他の抽出データから(並べ替え/連結を行って)]
[抽出データを作成する]-[他の抽出データから(抽出データ同士を比較して)]
[抽出データを作成する]-[他の抽出データから(編集を行って)]
[抽出データを作成する]-[他の抽出データから(番号を振って)]

変換(XML→抽出データ)
抽出データの並べ替え
抽出データの比較


抽出データの編集
抽出データの番号付け

XSLT [コピー/削除/その他]-[XMLを任意の形式に変換] 変換(XSLTで)
xobQuery

[外部のアプリケーションを実行]

実行するファイル
::\helper\xobquery.exe

外部アプリの実行

xobQuery

前処理→Web API連携

Web APIでやり取りされるデータとして、近年著しく利用が進んでいるデータ形式JSON です。「前処理→Web API連携」に関しては、JSONデータの作成に活用できます。もちろん、従来のCSV形式やXML形式で受け取るWeb APIの前処理でも使えます。

複数レコード(複数行)のJSONデータを作成する https://xoblos.hatenablog.jp/entry/2021/10/31/182935

作成されたJSONデータ(またはCSVデータ、XMLデータ)は、xoBlosWebサービスの呼び出し」機能(手順種)の 入力データとして利用でき、外部Webサービス(Web API)に連携できます。