お気に入りの人数の変動によるものと思われます。

何でも良いので、あなたが評価した作品の、最新話ページ下部か、短編なら本文下部を、見てみて下さい。
そこには、『評価を取り消す』というボタンが有る筈です。
また、評価をやり直す事も出来るようになっている筈です。

つまり、５ポイントを入れてくれていた人が、３ポイントに付け直せば、２ポイント減ります。
３ポイント付けてくれてた人が、評価を取り消すと、３ポイント減ります。

勿論、お気に入り人数の変動かも知れませんが、ポイントの方でも変動は有りますよ、という事で。

ありがとうございます！ありましたね、評価を取り消すっていうボタン。