複数のコンピュータハードウェアを利用して同時に計算する

並列性とは、計算をより速くするために、 複数のコンピュータハードウェア (例えば、 マルチコアプロセッサ)を利用することです。 その目的はより速く答えを求めることであり、 そのために計算のそれぞれの部分を別々のプロセッサに割り当て、同時に実行させます。 ref 

小さすぎるとタスク管理のオーバーヘッドが生じてしまう

タスク同士が依存していると直列に実行しないといけなくなる