ella beene es una bióloga de treinta y seis años que, tras una ruptura sentimental, se muda a un pueblo de california para empezar una nueva vida. allí conoce a joe y sus dos hijos, annie y zach. con ellos compartirá tres años repletos de felicidad y alegría, hasta que la trágica muerte de joe, se lleva con él todos sus secretos. ella se niega a aceptarlo y siente que su mundo se viene abajo, pero los niños la necesitan más que nunca y no piensa abandonarlos. cuando tú no estés explora la compleja relación entre dos mujeres que se consideran madres legítimas de los mismos niños, a la vez que se adentra en el complejo mundo de los sentimientos y las emociones humanas de un modo cautivador.