不義理や面目のないことがあって、その人の家へ行きにくい。

having a high threshold (for entry) ; difficult to approach ; feeling awkward to go to (of someone's home)​

敷居 - 高い