ListBoxItem verliert Fokus nachdem ein CollectionChanged Event ausgelöst wurde

Ich hab mir ein seltsames Konstrukt gebastelt und scheinbar bin ich damit in eine Sackgasse gelaufen.
Folgendes Szenario: Ich hab eine Listbox, die Daten in TextBlocks anzeigt. Wenn eine Zeile selektiert wird, wird das DataTemplate ausgetauscht und ein paar TextBlocks durch TextBoxes ersetzt. Das funktioniert wunderbar. Ich kann dann per Tabulator auch durch die TextBoxen durchspringen.

Wenn ich was in einer dieser TextBoxen eingebe, springt ein PropertyChangedEvent des darunter liegenden Objekts an und das wiederrum feuert ein CollectionChanged Event in der ObservableCollection, die an die ListBox gebunden ist.
Und damit ist es dann vorbei... Die TextBoxen verlieren den Fokus und stattdessen ist die ListBox selbst fokusiert.

Scheinbar reagiert da das ViewModel aus irgendeinen Grund auf die Änderung der Collection und aktualisiert das Binding wodurch eben der Fokus verloren geht. Gibt es da vielleicht eine Möglichkeit, wie man das umgehen kann?

Noch eine kleine Randinformation:
Ich verwende Caliburn.Micro und das entsprechende ViewModel ist von "Screen" abgeleitet.

ich kann den Fehler nicht reproduzieren