Elina on kuuttakymppiä lähestyvä freelance-kääntäjä, jonka sinkkuelämään mahtuu Madame Bovaryn uuden suomennoksen tekemistä, Skype-keskusteluja jossain Aasiassa liihottavan aikuisen tyttären kanssa ja vierailuja hiljalleen elämänsyrjästä hiipuvan iäkkään isän luona hoitokodissa.
Elämään pitäisi saada muutakin sisältöä. Sitä Elina lähtee hakemaan netin deittipalstoilta. Ensimmäiset yritykset omanikäisten miesten kanssa ovat latteita, joten Elina säätää kohderyhmää nuorempiin miehiin. Silloin löytyy Arno, kolmikymppinen perheenisä, joka on netissä hakemassa itselleen seksikumppania.
Lapsiperhe-elämä oman vaimon kanssa on käynyt latteaksi. Vaimo on haluton ja Arno päätyy etsimään ratkaisua perheen ulkopuolelta. Elina osoittautuu miellyttäväksi, eikä suhde jää yhden yön jutuksi, vaan Arno ja Elina kohtaavat uudestaan ja heidän välilleen alkaa rakentua suhde, josta ei oikein tiedä, mitä siitä on tulossa ja mitä se itse kullekin merkitsee.
Kaikki ne hetket kun olet yksin kertoo yksinäisyydestä, kosketuksen ja seksin kaipuusta, halusta ja intohimosta. Se kuvaa ikääntyvän naisen tuntemuksia ja taistelua tarpeettomuuden tunnetta vastaan ja nuoremman miehen vaikeutta lopulta tuntea puolisoaan ja halua saada elämään jännitystä ja seksiä.
Kun nämä kohtaavat, päästään arjen tuolle puolen, intohimon äärelle – mutta mitä näin eriparisesta suhteesta voi lopulta syntyä, tällaisista luvattomista lähtökohdista? Kaikki ne hetket kun olet yksin on tyylikäs ja elämänhaluinen pieni romaani.