いろいろな説があり、残念ながら正しくはわかりません。

例えば仏教(ぶっきょう)に関係している説、昔々農家の人たちが「木の葉」を表す言葉として使っていた説、溝(みぞ)にたまる泥(どろ)を表す言葉として使った説、色々あります。

そういった言葉が使われ続けて「使わなくなったり、役に立たなくなった物」という意味をあらわす言葉になっているようです。

1つの参考としてお知らせします。