Bắt nguồn từ vùng núi Nghiễm Sơn (Vân Nam, Trung Quốc) cao 1.800m, sông Nho Quế chảy theo hướng tây bắc - đông nam, qua núi rừng hoang vu hiểm trở, đổ vào xã Lũng Cú (Đồng Văn, Hà Giang) để vào nước ta. Sông tiếp tục xuôi dòng qua hẻm núi Tu Sản, dọc theo Mã Pì Lèng, khi đến Mèo Vạc thì tách làm 2 nhánh và chảy sang địa phận Cao Bằng, cuối cùng nhập vào sông Gâm tại ngã ba Nà Mát.