Fundada en 1908 en Salónica, es una de las entidades deportivas activas más antiguas del fútbol griego, nombrada en honor al semidiós mitológico Hércules.
El club fue fundado formalmente el 29 de noviembre de 1908 en la ciudad de Salónica, en un momento en que la región se encontraba bajo el dominio del Imperio Otomano. La iniciativa surgió de la comunidad helénica local con el propósito de centralizar las actividades deportivas y culturales de los jóvenes griegos de la ciudad, fusionando el Omilos Filomouson (un grupo cultural y musical fundado en 1899) y el club atlético Olympia. Los fundadores principales fueron los intelectuales y deportistas N. Manos, G. Sotiriadis, G. Vaporis y el médico Apostolos Kosmopoulos, designando al médico Alkiviadis Maltos como primer presidente. Debido a la censura y las regulaciones otomanas, se registró inicialmente como Makedonikos Gymnastikos Syllogos (Asociación Gimnástica Macedonia), pero en 1910 adoptó su denominación definitiva en honor al semidiós Hércules (Iraklis) para reivindicar sus raíces culturales.
En noviembre de 1975, la directiva del Iraklis concretó el fichaje más trascendental en la historia de la institución al contratar a Vasilis Hatzipanagis, un virtuoso mediapunta nacido en la Unión Soviética de padres griegos que militaba en el Pakhtakor Tashkent. Su debut en diciembre de ese año llenó por completo el Estadio Kaftanzoglio, iniciando una era de 15 años caracterizada por su depurado regate y genialidad técnica individual. A pesar del constante interés de los grandes clubes europeos, Hatzipanagis permaneció fiel al Iraklis durante toda su carrera en Grecia, y en el año 2003 fue galardonado oficialmente por la Federación Helénica de Fútbol como el mejor futbolista griego de los últimos 50 años.
El 9 de junio de 1976, Iraklis alcanzó el mayor éxito de su trayectoria en el fútbol profesional de élite al coronarse campeón de la Copa de Grecia por primera vez en su historia. En la final disputada en el Estadio de Nea Filadelfeia, en Atenas, se enfrentó al poderoso Olympiacos en un encuentro que finalizó con un espectacular empate 4-4 tras el tiempo suplementario (dos de los goles anotados por Hatzipanagis). En la posterior definición por penales, el portero Fanis Faniadis detuvo el cobro definitivo de los atenienses, sellando una histórica victoria de 6-5 que desató multitudinarios festejos en toda la ciudad de Salónica.
Durante la temporada 1984-85, el equipo completó una notable campaña europea que culminó con la obtención del único título internacional oficial de la historia del club: la Copa de los Balcanes. Tras avanzar con autoridad en las fases previas, Iraklis disputó la final a doble partido contra el FC Argeș Pitești de Rumania. En el partido de ida en Salónica, el equipo helénico goleó 4-1 con una destacada exhibición ofensiva. A pesar de caer 3-1 en el partido de vuelta en territorio rumano, el marcador global de 5-4 les aseguró el trofeo regional, marcando una de las épocas doradas de la plantilla del norte de Grecia.
En la temporada 2000-01 de la Copa de la UEFA, el Iraklis firmó una de sus noches de gloria continental más emblemáticas. En la primera ronda del torneo se enfrentó al Real Zaragoza de España. Tras caer 0-3 en el partido de ida disputado en Salónica y cuando la serie parecía liquidada, Iraklis protagonizó una remontada legendaria en el partido de vuelta en el Estadio de La Romareda en España, venciendo 0-3 en el tiempo regular para forzar la prórroga y finalmente clasificarse gracias a los goles de Ederson y Konstantinou, asombrando al fútbol europeo.