パイプライン処理を中心的なパラダイムとするシステム全体の設計のこと

『コンピュータアーキテクチャのエッセンス ［第 2 版］』 より

Unix ターミナル言語 (Bash や Zsh) の背後にある原則として親しんでいるもの

MapReduce プログラミングモデルを採用する多くのツールは、このトポロジーに従う

フィルターをパイプで繋いでいく

フィルターは 4 種類

プロデューサー (ソース) : 処理の出発点で出力のみ

トランスフォーマー (変換器) : map 的なもの

テスター : 入力に対して検査をして、検査の結果に基づく出力を行う。 reduce に似たもの

コンシューマー : 終了点。 DB に永続化したり UI として表示したりする

事例

EDI ツール

ETL ツール

Apache Kafka (Kafka)

関連

参考文献