Sở Ngoại vụ Thành phố Hồ Chí Minh là đơn vị trực thuộc Bộ Ngoại giao, chịu sự chỉ đạo trực tiếp và toàn diện của Bộ Ngoại giao về đường lối chính trị đối ngoại cũng như về chuyên môn và nghiệp vụ ngoại giao, tổ chức bộ máy và biên chế cán bộ.
Trong phạm vi Thành phố Hồ Chí Minh, Sở Ngoại vụ Thành phố Hồ Chí Minh đồng thời chịu sự lãnh đạo của Ủy ban Nhân dân Thành phố Hồ Chí Minh về công tác đối ngoại, chính trị, tư tưởng và các công tác khác của Thành phố.