Auf dem Album spielt ein Doppel-Quartett die Musik Colemans: Jedes der beiden Quartette mit Holzbläser, Trompete, Bass und Schlagzeug wurde dabei einem der Stereokanäle zugeordnet. Die Komposition war eine sechsteilige Suite mit Kollektivimprovisationen, durch thematische Einschübe in Form kurzer, teilweise fanfarenartiger Unisono-Themen oder von Bläserclustern gegliedert und über weite Strecken auf einem Shuffle-Rhythmus beruhend, den die verdoppelte Rhythmusgruppe spielte. Funktionsharmonische Bindungen sind aufgehoben. Das Prinzip der weitgehend freien Improvisation gab den Musikern große Freiräume zur eigenständigen Umsetzung ihrer Ideen und Empfindungen. Phasen, in denen alle Musiker gemeinsam spielten, wechselten mit Solo-Sequenzen ab, in denen der entsprechende Musiker auf vorangegangene Motive einging oder selbst ein neues Thema einbringen konnte, während die anderen Musiker sich am Motiv des Solos orientierten und dieses kommentierten oder pausierten: „Die wichtigste Sache war für uns, zusammen zu spielen, alle zur gleichen Zeit, ohne uns gegenseitig in den Weg zu kommen, und außerdem nach Belieben genügend Raum für jeden Spieler zu haben – und dieser Idee für die Dauer des Albums zu folgen. Wenn der Solist etwas spielte, das mich zu einer musikalischen Idee oder Ausrichtung anregte, spielte ich das in meinem Stil dahinter. Er führte selbstverständlich sein Solo in seinem Stil fort.Als Solisten kamen zuerst die Bläser an die Reihe, dann (im Duo) die beiden Bassisten und dann die beiden Schlagzeuger. Die Komposition ging – was zuvor niemand gewagt hatte – über beide Seiten der LP.

Das Album wurde am 21. Dezember 1960 zusammenhängend aufgenommen. Direkt zuvor hatte die Gruppe einen ersten Take aufgenommen, der jedoch nicht auf der Platte veröffentlicht wurde.

Obwohl Coleman und Tonmeister Dowd innovativen Gebrauch von der Stereophonie machten, erschien Free Jazz sowohl als Stereo- als auch als Mono-Version. Auf dem Albumcover ist Coleman nicht als Interpret angegeben, sondern wird als Namensgeber des „Ornette Coleman Double Quartet“ angeführt.