Анатолий Брусиловский родился в 1932 году в Одессе, в Украине. Переехал в Херсон, где учился в художественном ВУЗе. В 1957 году совместно с Анатолием Зверевым участвовал в VI Всемирном фестивале молодежи и студентов.
Свою карьеру Брусиловский начал как художник-иллюстратор. Во времена хрущевской оттепели 1960-х его работы воплотили надежды общества на либеральные перемены. Он сотрудничал с крупнейшими газетами и издательствами: например, он автор иллюстраций к первому русскоязычному изданию Сэлинджера. Свою мастерскую он превратил в штаб-квартиру андеграунда, где часто проходили неофициальные выставки и лекции. С 1960-х Брусиловский считается одним из самых интеллектуальных художников, наряду с Кабаковым, Неизвестным, Соостером, Янкилевским, Соболевым и Жутовским. Живет и работает в Кельне, Германия.