Картина, написанная в 1797 году, через некоторое время стал иметь дурную славу. Дама с картины скончалась вскоре после написания ее. Люди стали говорить, что картина «отбирает молодость» и даже «сводит в могилу».

Достоверно неизвестно, кто пустил такой слух, но после того, как Павел Третьяков «бесстрашно» приобрел портрет для своей галереи, разговоры о «загадке картины» поутихли.