日常会話で、冗談ってどのくらいの頻度で混じるものなんだろう？

うちはマンションの5階に住んでて、旦那が子供（1歳）を抱っこして一緒に家を出る時。
玄関から出た瞬間、「ぽーん」って言って子供を下に投げ出すような冗談を言う。
私は子供が落とされることを想像して嫌な気分になって、冗談として流せない。
これくらいは冗談として流すのが普通？

それでなくても冗談が会話の中に常に混じるけど、私は子供の相手でいっぱいいっぱいだし冗談でなんて返していられなくて、マジレスしちゃう。
そうすると「冗談なのにマジで返さないでよ」って言われる。
冗談で返すのもこっちだって面倒くさい。
やめて欲しいって言って良いのかな。