Το 1931, και μετά την ίδρυση των τμημάτων ποδοσφαίρου, υδατοσφαίρισης, στίβου, κολύμβησης, βόλει, ξιφομαχίας και κωπηλασίας, η τότε διοίκηση του Ολυμπιακού, η οποία βρισκόταν υπό την προεδρία του Θανάση Μέρμηγκα, αποφάσισε να προχωρήσει στην ίδρυση τμήματος χειροσφαίρισης. Πρώτο γήπεδο και παράλληλα χώρο προπόνησης του συγκεκριμένου τμήματος του ερυθρόλευκου συλλόγου αποτέλεσε το Ποδηλατοδρόμιο, το γνωστό σήμερα Στάδιο Γεώργιος Καραϊσκάκης, το οποίο είχε κατασκευαστεί ήδη από το 1895 προκειμένου να χρησιμοποιηθεί για τους πρώτους σύγχρονους Ολυμπιακούς Αγώνες που διεξήχθησαν στην Αθήνα το 1896.

Η ύπαρξη τμημάτων χάντμπολ δεν ήταν πρωτόγνωρο φαινόμενο στην Ελλάδα. Στη χώρα πρωτοπαίχτηκε το άθλημα της χειροσφαίρισης το 1922 στο ποδοσφαιρικό γήπεδο του Πανελληνίου Γ.Σ., με τις ομάδες να αγωνίζονται με έντεκα εναντίον έντεκα παικτών. Αυτός που δίδαξε στην Αθήνα το άθλημα πρώτος, ήταν ο καθηγητής Φυσικής Αγωγής και τότε διευθυντής του γυμναστηρίου του Πανελληνίου Γ.Σ. Ευάγγελος Καλφαρέντζος, ο οποίος μάλιστα μετέφρασε και τους πρώτους κανονισμούς. Οι πρώτες ομάδες οι οποίες ίδρυσαν τμήμα χειροσφαίρισης ήταν ο Πανελλήνιος Γ.Σ., ο Εθνικός, η Νήαρ Ήστ, οι Νέοι Βύρωνος, ο Παναθηναϊκός, η ΑΕ Ελληνορώσων, η ΑΕ Χαλκίδας κα. Εξαίρεση δε μπορούσε να αποτελέσει ο Ολυμπιακός, ο οποίος προχώρησε στη μετέπειτα ίδρυση του αντίστοιχου τμήματος.

Πρώτα χρόνια

Λόγω του γεγονότος ότι μέχρι εκείνη τη στιγμή δεν είχε συσταθεί επίσημα κάποια αντίστοιχη Ελληνική Ομοσπονδία Χειροσφαίρισης, η ομάδα χάντμπολ του Ολυμπιακού λάμβανε μέρος στα διάφορα ανεπίσημα πρωταθλήματα που διεξάγονταν μεταξύ των συλλόγων του Πειραιά καθώς επίσης και σε πρωταθλήματα κέντρου.

Τα ρόστερ των πρώτων χρόνων του τμήματος χειροσφαίρισης του Ολυμπιακού αποτελούσαν Έλληνες αθλητές μεταξύ άλλων της ποδοσφαιρικής ομάδας του συλλόγου όπως π.χ. ο τερματοφύλακας Κώστας Κλειδουχάκης καθως επίσης και της κολυμβητικής ομάδας όπως π.χ. ο Τάκης Προβατόπουλος (ο δεύτερος αποτελούσε κορυφαίο Έλληνα κολυμβητή προπολεμικά, ο οποίος μάλιστα είχε κατακτήσει με την ομάδα του Ολυμπιακού αρκετά πρωταθλήματα τόσο ως αθλητής της κολύμβησης, όσο και ως αθλητής της υδατοσφαίρισης). Άλλοι αθλητές οι οποίοι αποτελούσαν στελέχη των πρώτων ρόστερ της ομάδας χάντμπολ του Ολυμπιακού ήταν οι: Κοκκινάκης, Τρικίδης, Τσακίρης, Θρακάκης, Πολίτης, Αθανασιάδης, Τσιγώνης, Βρουσάλης, Χονδρόπουλος, Πυλάδης, Παπαδάκης και Αποστολάκης.