babel-plugin-module-resolver
ts// Use this:
import MyUtilFn from 'utils/MyUtilFn';
// Instead of that:
import MyUtilFn from '../../../../utils/MyUtilFn';
babelはあくまでもtranspilerであり、bundlerではない
絶対パスで書かれたJSコードを、相対パスで書かれたJSコードに変換する、というところまでしかやっていないはず
実際のbundleに関しては別のツールが解決してるはず
「module解決」と言ったときに、どこまで含めるかによって、babelが噛んでいるかどうかの解釈が変わる

ただ、利用者(開発者)から見たときに、エラーにあまり違いが現れなくて分かりづらい
transpileの時点でエラーになっているのか?
こっちの場合はBabelが原因の可能性が高い
それとも、それ以降の、bundle部分でエラーになっているのか?
こっちの場合は別のツールが原因の可能性が高い
というのがわかりづらい