Theo tài liệu lịch sử ghi ghép hiện lưu giữ tại trạm, ngày 25/4/1900, Toàn quyền Đông Dương Paul Doumer đã ra Nghị định 421 cho phép xây dựng tòa nhà chính của Sở Khí tượng Đông Dương, cũng là trụ sở của Trạm Khí tượng Thủy văn Đông Dương. Ngày 16/9/1902, Trạm Khí tượng và Địa từ Thủy văn đặt tại đồi Phù Liễn chính thức được xây dựng. Thời bấy giờ, đồi Phù Liễn là vị trí đắc địa phục vụ cho công tác nghiên cứu và dự báo khí tượng ở khu vực Đông Dương. Năm 1906, trạm này bắt đầu thực hiện quan trắc số liệu về nhiệt độ, độ ẩm, khí áp, lượng mưa và hướng gió, đóng góp vai trò rất quan trọng trong việc quan trắc khí tượng cho ba nước Đông Dương là: Việt Nam, Lào, Campuchia.