سلام.
load شدن دوباره item های ListView اجتناب ناپذیر است، زیرا ساختار ListView به این صورت است که وقتی یک item می خواهد وارد صفحه شود، View مربوط به آن را می سازد و وقتی هم که item ای از صفحه بیرون می رود، View مربوط به آن را از بین می برد (destroy می کند). دلیل آن هم دقیقا همان عدم کرش کردن برنامه اندروید به دلیل کمبود حافظه است.
پس باید کدهایی برای ذخیره سازی عکس ها اجرا کنیم.
همان طور که تذکر دادند، باید عکس ها را cache کنیم تا نیازی به دانلود دوباره آنها نباشد. بنده کلید زیر را توصیه می کنم :

کلید شماره 2777

همچنین اگر باز هم مشکل داشتید، قرار دادن عکس های خیلی بزرگ (که باید از اینترنت دانلود شوند) در ListView توصیه نمی شود و می توانید از آنها نسخه کوچکتری (thumbnail) تهیه کنید که با اشاره کاربر بر روی آن، عکس بزرگتر load شده و نمایش داده شود.
علاوه بر این، کدهای روش getView در Adapter سازنده item ها را هم چک کنید که استاندارد نوشته شده باشند (گاهی بد نوشتن کدهای این بخش، باعث کندی حرکت ListView می شود).