그는 1940년대 뉴욕의 인기 나이트클럽 카페 소사이어티(Café Society)의 하우스 피아니스트였고, 라디오 주간 프로그램 <Mary Lou William’s Piano Workshop>의 호스트로 활동했다. 뉴욕의 젊은 비밥 연주자들은 공연이 끝난 한밤중에 그의 아파트로 모여들어 새로운 음악 방향에 대해 밤새도록 이야기를 나누며 뒤풀이를 했다. 디지 길레스피, 찰리 파커, 셀로니어스 몽크, 버드 파웰과 같은 비밥 뮤지션들에게 그는 멘토이자 스승이었다. 그의 음악은 스피리추얼, 래그타임, 블루스, 스윙, 비밥 등 미국의 모든 대중음악을 넘나들었고, 수백 곡을 만든 작곡가이자 편곡가이며 재즈를 가르친 교육자였다. 그가 1981년에 71년의 생을 마감하자, 그의 장례식에 수많은 재즈 뮤지션들이 모여들어 그를 ‘재즈 키보드의 영부인’이라 부르며 아쉬워했다.
그는 미국 피츠버그에서 ‘리틀 피아노 걸’(Little Piano Girl)로 불린 음악 신동으로 유명했다. 세 살부터 피아노를 치기 시작하여 여섯 살부터 파티에서 피아노를 치며 가족을 부양하기 위해 돈을 벌었다. 열 여섯의 나이에 재즈 색소포니스트 존 윌리엄스와 결혼하면서, 남편의 밴드에서 직업적인 뮤지션 생활을 시작했다. 멤피스, 캔자스시티, 시카고, 뉴욕 등지를 돌아다니며 피아니스트, 작곡가, 편곡가로서 명성을 쌓았다. 얼 하인즈, 베니 굿맨, 듀크 엘링턴 같은 스윙시대 인기 밴드가 경쟁적으로 그를 채용했다. 1942년 첫 남편과 이혼한 뒤에는 뉴욕에 정착하여 카페 소사이어티(Café Society)에서 고정 피아니스트로 일했고, 1948년부터는 자신의 이름을 내건 라디오 프로그램을 맡으며 가장 바쁜 시간을 보냈다. 그 당시 그의 아파트는 비밥 뮤지션들의 무대가 모두 끝난 한밤에 뒤풀이를 위해 모이는 장소가 되어 새벽녘까지 음악에 대한 토론이 밤새도록 이어졌다. 그를 ‘비밥 뮤지션들의 대모’라 부르는 이유가 여기에 있다.
그는 한동안 피아노에서 손을 놓았다. 찰리 파커의 갑작스러운 죽음 때문이 그 주요 배경으로 알려졌는데, 그는 약 3년 동안 음악 신에서 사라졌고 이 즈음 디지 길레스피의 아내 ‘로레인’과 함께 카톨릭 종교에 심취했다. “이때는 뉴스도 보지 않았다. 그러다 라디오를 틀었는데 아트 테이텀이 죽었다고 했다. 그때부터는 라디오도 틀지 않았다.”라며 당시를 회고한바 있다. 그러다 재즈 팬이던 신부 피터 오브라이언(Peter O’Brien)와 디지 길레스피의 권고에 따라 1957년 뉴포트 재즈 페스티벌을 계기로 재즈 신으로 돌아왔고, 절친이 된 신부는 그의 매니저로 활동하게 되었다. 성당의 신부와 재즈 피아니스트로 만난 두 사람은 단짝이 되어 피츠버그 재즈 페스티벌(Pittsburg Jazz Festival)을 창설했고, 듀크 대학교에서 함께 재즈 역사를 가르치기도 했다.
윌리엄스는 남성 중심의 재즈 역사에서 최초로 성공한 여성 뮤지션으로 손꼽힌다. 그가 71세를 일기로 생을 마감하기 전 병상에서 “내가 해낸 게 맞죠?”라며 자신이 이룬 성과에 대해 만족스러워했다고 전해진다. 그가 자란 피츠버그에는 그의 이름을 차용한 거리가 생겼고, 그가 다니던 초등학교 앞에는 그의 공적을 기린 표지판이 높게 서 있다. 80여년이 지난 지금에도 젊은 스윙 밴드가 그가 작곡한 곡으로 공연 연습을 하고 있다.