Năm 1959, ông tốt nghiệp cấp III và được cử đi học ngoại ngữ tại Trường Bổ túc ngoại ngữ Gia Lâm (nay là Đại học Hà Nội) để đi học ở Liên Xô (cũ). Tại Khoa ngữ Văn, Trường Đại học Tổng hợp Lomolosov, ông theo học chuyên ngành về ngôn ngữ học. Năm 1964, ông về nước và lại được cử đi học tiếp 01 năm tại Liên Xô về nghiên cứu ngôn ngữ các dân tộc. Tháng 8 năm 1965, ông về công tác tại Ban Ngữ âm - ngôn ngữ dân tộc thuộc tổ Tổ ngôn ngữ học, trực thuộc Ủy ban Khoa học xã hội. Năm 1968 Viện Ngôn ngữ học được thành lập trên cơ sở hợp nhất Tổ Ngôn ngữ học và Tổ Thuật ngữ. Ông công tác ở Ban Ngữ âm - ngôn ngữ dân tộc. Năm 1977, Ban Ngữ âm - ngôn ngữ dân tộc được tách thành hai Ban: Ban Ngữ âm, và Ban Ngôn ngữ dân tộc. Ông được bổ nhiệm chức vụ Trưởng ban Ban ngôn ngữ dân tộc, thuộc Viện Ngôn ngữ học. Năm 2000, ông nghỉ công tác quản lý để tập trung cho chuyên môn. Ông công tác ở Viện Ngôn ngữ học đến năm 2002 về nghỉ hưu. Ông được phong Phó giáo sư năm 1991.
Trong gần 40 năm công tác tại Viện Ngôn ngữ học, PGS. TS Hoàng Văn Ma đã có nhiều cống hiến đáng kể cho ngành ngôn ngữ học nước nhà với tư cách là chuyên gia hàng đầu về ngôn ngữ dân tộc thiểu số ở Việt Nam, đặc biệt là các ngôn ngữ thuộc ngữ hệ Tai - Kadai.
Nhiều công trình nghiên cứu về các ngôn ngữ thuộc ngữ hệ Tai - Kadai đã được ông tham gia biên soạn, như: Ngữ pháp tiếng Tày Nùng (1971, viết chung với Lục Văn Pảo, Hoàng Chí); Từ điển Tày - Nùng - Việt (1974, biên soạn chung với Lục Văn Pảo);Từ điển Việt - Tày - Nùng (1984, biên soạn chung với Lục Văn Pảo); Tiếng La Ha (1986, tiếng Nga, viết chung với Solnceva, N. V.); Tiếng Pu Péo (1992, viết chung với Vũ Bá Hùng). Ngoài chuyên môn sâu về các ngôn ngữ Tai - Kadai, trong chương trình hợp tác với Viện Đông Phương học, và Viện Ngôn ngữ học thuộc Viện Hàn lâm Khoa học Liên Xô (và sau này là Viện Hàn lâm Khoa học Liên bang Nga), ông đã tham gia nhiều đợt nghiên cứu điền dã các ngôn ngữ dân tộc thiểu số ở Việt Nam thuộc nhiều ngữ hệ ở khắp các vùng miền của đất nước từ năm 1979 đến năm 1999. Một số trong những sản phẩm của chương trình hợp tác Việt Xô (sau này là Việt - Nga) mà ông tham gia viết là cuốn Tiếng La Ha (1986, tiếng Nga), và cuốn Tiếng Bru - Vân Kiều (1998, viết chung với Tạ Văn Thông).
Không chỉ nghiên cứu các ngôn ngữ trên bình diện đồng đại, ông còn đi sâu nghiên cứu các ngôn ngữ trên bình diện loại hình và quan hệ cội nguồn. Hàng loạt những công trình, bài viết của ông chỉ ra những đặc điểm về loại hình của các ngôn ngữ đơn lập ở khu vực, cũng như mối quan hệ cội nguồn giữa chúng. Đó là mối quan hệ cội nguồn giữa các ngôn ngữ Tai - Kadai với nhau. Chẳng hạn, đó là mối quan hệ cội nguồn giữa tiếng La Ha với các ngôn ngữ trong chi Kadai (với tiếng La Chí, Cơ Lao, với các ngôn ngữ Pu Péo, Lê...), hay giữa tiếng La Ha với tiếng Thái, với các ngôn ngữ Nam Đảo, hay với các ngôn ngữ chi Môn - Khơ me thuộc ngữ hệ Nam Á.
Với những kiến thức về ngôn ngữ các dân tộc thiểu số được tích lũy sau nhiều năm công tác, ông đã tham gia viết cuốn Các dân tộc thiểu số ở Việt Nam và chính sách ngôn ngữ (1984, viết chung với Hoàng Tuệ và Nguyễn Văn Tài), một cuốn sách cẩm nang cho những người làm công tác nghiên cứu ngôn ngữ dân tộc ở Việt Nam và Đông Nam Á. Bên cạnh đó, PGS.TS Hoàng Ma còn tham gia các chương trình nghiên cứu ngôn ngữ các dân tộc. Ông đã từng đi sâu nghiên cứu các ngôn ngữ Nam Đảo, các ngôn ngữ Hmông - Dao, Hán Tạng và viết nhiều bài nghiên cứu về các ngôn ngữ thuộc các ngữ hệ này.
Có thể nói trong cuộc đời nghiên cứu khoa học gắn bó với Viện Ngôn ngữ học và Phòng nghiên cứu ngôn ngữ các dân tộc thiểu số ở Việt Nam, những tư tưởng học thuật của ông đã có ảnh hưởng khá lớn đến công việc của Phòng. Với tư cách là trưởng phòng Phòng nghiên cứu ngôn ngữ các dân tộc thiểu số ở Việt Nam, ông không chỉ là người lãnh đạo về học thuật và tổ chức nghiên cứu mà còn góp phần định hướng nghiên cứu đối với công tác này ở Viện và Phòng.
Tuy đã nghỉ hưu hơn 10 năm, song mối quan hệ của ông với Viện và Phòng Ngôn ngữ các dân tộc thiểu số vẫn khăng khít như những ngày ông còn đang làm việc. Ông vẫn thường xuyên tư vấn, giúp đỡ các cán bộ trẻ của Phòng định hướng những vấn đề cần tiếp tục nghiên cứu về các ngôn ngữ dân tộc, nhất là những vấn đề các ngôn ngữ Tai - Kadai mà ông còn đang trăn trở.
PGS.TS Đoàn Văn Phúc