セルジュ・ゲンスブール（本名：ルシアン・ギンスブルグ）は1928年４月２日、パリのブランシュ街に生まれる。父はオデッサ出身のユダヤ系ロシア人、母もクリミア半島出身のユダヤ系ロシア人で、夫婦はロシア革命の混乱のなか1927年にパリに亡命した。クラシックの作曲家であった父親は、バーでピアノを弾いて慣れない異国での暮らしを支えていた。二人は最初に生まれた長男を悪性肺炎のために一歳４ヶ月で亡くしており、まだ二歳と幼い長女を抱えての貧しい生活であった。母は三人目を身籠ったときに堕胎をする決意をしたが、当時のフランスでは堕胎は犯罪であり、闇医者に頼るしかなかった。しかし下町の闇医者をたずねた彼女はあまりの不潔さに逃げ帰っている。このとき生まれたのがルシアン、セルジュ・ゲンスブールである。しかも驚くべきことに双子であった。ゲンスブールにはジャクリーヌという名の姉と、リリアンヌという双子の姉がいる。
ゲンスブールの父親はロシアの知識階級の出身で、幅広い教養を身に着けたディレッタント、芸術至上主義者であったために、ゲンスブールは貧しくとも貴族的な教育を受けている。学校から帰ると毎日父親からピアノのレッスンを受け、バッハやショパンを弾かされていたが、そのことがとても嫌だったという。幼い頃から絵の才能に秀でていたルシアンは、誰に打ち明けることもなく画家になることを夢見ていた。臆病で内向的な感受性の強い少年で、家庭での恵まれた愛情に反して学校ではいつも孤独であった。
1940年、ドイツ軍による占領がはじまると、一家はフランス中を転々としながらナチスによるユダヤ人狩りから逃げ回った。12歳のルシアン少年もユダヤ人であることを示す黄色い星を胸につけられ、森林伐採などの強制労働をさせられたという。堕胎未遂の末に生まれたゲンスブールは「生まれる前から死に損なった」とのちに語っているが、ナチスによるユダヤ人排斥もまた、望まれざる命であることへの絶望感を強めることになった。そしてユダヤ人で醜男というコンプレックスはゲンスブールに生涯つきまとう。
戦後、美術学校の建築科に入学し、フェルナン・レジェら画家のアトリエにも通って絵を学ぶ。47年から兵役も経験しているが （脱走を企てたことで３ヶ月投獄されてもいる）、あまりにも退屈で13ヶ月の任期を終える頃には立派なアル中になっていたと語っている。しかしアル中はそのときに始まったことではなく、13歳頃からアルコールの味を覚えると、過度の飲酒により意識喪失も経験していた。さらに13歳から吸い始めた煙草はジタンを一日に七箱ともいわれる。
22歳のとき教育センターで美術教師の職を得る。ユダヤ人の子どもたちや収容所から生還した人たちをサポートする施設での仕事であった。生活は厳しく、自宅でピアノを教えて収入を補い、近所の生涯学習センターでワークショップを催したりしている。23歳で一度目の結婚をする。昼は教育センターで美術を教え、生活のために夜はバーやキャバレーでピアノを弾いて稼いでいた。しかし昼夜の二重生活はそう長くは続けられず、夜の仕事のほうが収入が良かったため、思い切って教育センターの仕事を辞めるが、昼間にバーやクラブが開いているわけがなく、家具の塗装やフィルムの色塗りなどのさまざまな副業で食いつないでいた。
ゲンスブールは才能に限界を感じていた画家になるという夢を断念し、音楽の道を選ぶ。26歳のときにはミュージシャン組合に加入し、そのための試験まで受けるという堅実ぶりであった。後のゲンスブールの姿からはまるで想像がつかないが、ソングライターへの予感があったからだった。しかし内気なゲンスブールは歌手にデモテープを売り込むことができず、あまり成果が得られずに終わっている。
ミロール・ラルスイユというキャバレーで、ミシェル・アルノーの専属伴奏者となった。そこで精神的兄弟ともいえるボリス・ヴィアンに出会う。そしてヴィアン自作の歌を聴いたゲンスブールは、この分野なら自分にも何かできるかもしれないと思った。ヴィアンの歌はこれまでの愛を嘆く甘いシャンソンとは違って、常識社会を嘲笑し皮肉った挑発的なものであった。56年、28歳のゲンスブールは『リラの門の切符切り』で歌手デビューする。
