El 26 de abril de 1903, un grupo de estudiantes vizcaínos de la Escuela Especial de Ingenieros de Minas, formado por Ramón de Arancibia y Lebarri, Ignacio Gortázar y Manso, Ricardo Gortázar y Manso, y Manuel de Goyarrola y Alderna, decidió fundar un equipo filial del Athletic Club de Bilbao, el cual se denominó Athletic Club de Madrid. Ambos clubes no podían enfrentarse en partidos oficiales al ser considerados el mismo club. El primer presidente del Athletic Club de Madrid fue Enrique Allende, quien dejó el cargo el mismo año, siendo sustituido por Eduardo de Acha.
El primer campo de juego que usó el Athletic de Madrid, se encontraba detrás de las tapias de El Retiro, en la ronda de Vallecas, hoy calle de Menéndez Pelayo. El 2 de mayo de 1903, el Athletic de Madrid jugó su primer partido, disputado entre los socios del club. El partido fue arbitrado por el tesorero del club, Enrique Goiriki.

En 1912 asumió la presidencia Julián Ruete. Bajo su mandato, el Athletic de Madrid logró alcanzar la primera final de su historia, al jugar la del Campeonato Regional Centro. En 1919 asumió la presidencia Álvaro de Aguilar, aunque un año después nuevamente accedió al cargo Julián Ruete. Durante el mandato de Ruete se inauguró el Estadio Metropolitano, el 13 de mayo de 1923, con un partido entre el Athletic de Madrid y la Real Sociedad de Fútbol, ganado por los madrileños por 2-1.
El 4 de octubre de 1939 se firmó la fusión entre el Athletic Club de Madrid y el Aviación Nacional, lo cual llevó al nacimiento del Athletic Aviación Club. La fusión se debió a la mala situación económica y administrativa del Athletic Club de Madrid, además de la falta de futbolistas debido a la Guerra Civil Española.
El 28 de abril de 1940, el equipo dirigido por Ricardo Zamora se adjudicó el título de campeón de la Primera División por primera vez en su historia. El 2 de marzo de 1941, nuevamente dirigido por Ricardo Zamora, el club logró revalidar el título de campeón de la primera división.
En enero de 1947 el club pasó a llamarse Club Atlético de Madrid, adoptando además un nuevo escudo, similar al usado en 1917, pero con 4 rayas rojas. El primer partido oficial del club bajo el nuevo nombre, jugado el 6 de enero de 1947, correspondió a la derrota por 3-1 contra el Sabadell (entonces colista), jugado en el Estadio Metropolitano.

En la temporada 1949/50, bajo las órdenes del entrenador Helenio Herrera, el Atlético suma su tercer título de Liga. En la temporada siguiente (también con Herrera en el banquillo), el equipo colchonero volvió a alzarse con el título de campeón de Liga.
La década de 1960, fue una década fructífera para el Atlético de Madrid en cuanto a resultados. En la 1959/60, de la mano del entrenador José Villalonga, el club consiguió su primera Copa del Generalísimo (actual Copa del Rey), al derrotar a su rival histórico: el Real Madrid. El Atlético derrotó a los "merengues" en el decisivo derbi madrileño por 3-1. En la temporada siguiente, el equipo colchonero volvió a conquistar la Copa, derrotando nuevamente en el derbi al Real Madrid, esta vez por 3.2.
La conquista de la Copa del Generalísimo de 1961, le permitió al Atlético disputar la Recopa de Europa del año siguiente. Tras eliminar a distintos rivales, el equipo colchonero logró llegar a la primera final internacional de su historia. La final de la Recopa de Europa se disputó el 10 de mayo de 1962 en Glasgow (Escocia), con resultado de 1-1 ante la ACF Fiorentina de Italia. El partido de desempate se disputó el 5 de septiembre de 1962, en el Neckarstadion de Stuttgart (Alemania), donde el Atlético derrotó a la Fiorentina por 3-0, con tantos de Jones, Mendonça y Joaquín Peiró. Así, el club conquistó el primer trofeo europeo oficial de su historia.
En la temporada 1964/65, el Atlético obtuvo su tercera Copa del Generalísimo, tras derrotar por 1-0 al Real Zaragoza en la final, con gol de Cardona. Al año siguiente, en la temporada 1965/66, el Atlético obtuvo un nuevo título de Liga.
La década de 1970, fue la década de mayores satisfacciones para la afición del Atlético de Madrid. En la temporada 1969/70, el conjunto colchonero ganó su sexta Liga, de la mano del entrenador francés Marcel Domingo.
En la temporada 1971/72, llegó al club el entrenador austríaco Max Merkel, popularmente conocido como Míster Látigo, ya que impuso una gran disciplina táctica en el equipo madrileño. Ese año, el club obtuvo una nueva Copa del Generalísimo, al derrotar al Valencia CF por 2-1 en la final.
En la temporada 1972/73 - también con Merkel al mando -, el Atlético ganó el título de campeón y así consiguió su séptima Liga. El título de Liga de la temporada anterior, permitió al Atlético disputar la Copa de Europa 1973/1974, en donde hizo una gran campaña, quedando subcampeón. El 15 de mayo de 1974 el Atlético de Madrid disputó la final de la Copa de Europa 1973-74 contra el Bayern Munich. El partido terminó con empate a cero, lo que obligó a disputar una prórroga. En la misma, Luis Aragonés adelantó al Atlético de Madrid con un tiro de falta directa. A 30 segundos del final del partido, Georg Schwarzenbeck empató el partido con un tiro lejano que sorprendió al portero Reina. Con este resultado, se jugó un partido de desempate, el 17 de mayo de 1974, donde el equipo español se presentó totalmente desmoralizado y mermado físicamente, siendo derrotado por 4-0 por los alemanes.
El Bayern se negó a jugar la Copa Intercontinental contra el Club Atlético Independiente de Avellaneda. Por este motivo, el Club Atlético de Madrid disputó el trofeo en dos partidos. El primer encuentro -ya con Luis Aragonés como entrenador- jugado en Buenos Aires, tuvo un resultado de 1-0 a favor de Independiente.

El 10 de abril de 1975 se disputó el segundo partido en Madrid, donde el Atlético ganó por 2-0, con un gol de Rubén Ayala a 4 minutos del final. Así, el club rojiblanco ganó la Copa Intercontinental, y obtendría el segundo título internacional de su historia, convirtiéndose así y hasta la fecha, en el único club europeo que consigue ganar la Copa Intercontinental, sin haber ganado previamente una Copa de Europa.
En la temporada 1975/76, el conjunto colchonero se adjudicó su quinta Copa del Generalísimo, tras vencer al Real Zaragoza por 1-0 en la final con gol de Gárate.
Al año siguiente, en la temporada 1976/77, el club rojiblanco volvió a ganar la Liga. Éste, sería el octavo título del Atlético en liga.
El 30 de junio de 1985 el Atlético de Madrid conquistó su sexta Copa del Rey ante el Athletic Club de Bilbao. El encuentro fue disputado en el Estadio Santiago Bernabéu, y finalizó con el resultado de 2-1 a favor de los "colchoneros" con 2 goles del mexicano Hugo Sánchez. El entrenador del Atlético de Madrid era Luis Aragonés.
El 2 de mayo de 1986 disputó en el Estadio Gerland de Lyon (Francia) la final de la Recopa de Europa . El resultado fue 3-0 a favor del Dínamo de Kiev, que por entonces era la base de la selección de la Unión Soviética y alineaba futbolistas de gran calidad como el delantero Oleg Blokhin o el medio Igor Belánov. Los ucranianos se adelantaron relativamente pronto en el marcador y en los minutos finales, con el Atlético volcado en el ataque, remacharon la victoria al contragolpe.
El 29 de junio de 1991, el Atlético de Madrid, dirigido por Iselín Santos Ovejero, se proclamó campeón de la Copa del Rey por séptima vez, tras vencer al RCD Mallorca por 1-0, con un gol de Alfredo Santaelena en la prórroga.
El 27 de junio de 1992 el club, dirigido por Luis Aragonés logró adjudicarse su octava Copa del Rey tras derrotar nuevamente en el derbi madrileño al Real Madrid por 2-0 en el Estadio Santiago Bernabéu . Los goles fueron marcados por Paulo Futre y Bernd Schuster, este último de libre directo. Esta fue la tercera Copa del Rey que el Atlético obtuvo enfrentándose al Real Madrid en la final.
El 1 de julio de 1992 el club pasó a llamarse Club Atlético de Madrid S.A.D., tras la conformación de la sociedad anónima deportiva en la cual Jesús Gil se convirtió en máximo accionista. Posteriormente, la justicia demostró que la apropiación por parte de Jesús Gil del club madrileño se había hecho mediante la comisión de un delito de apropiación indebida de las acciones, según acreditó el Tribunal Supremo en la sentencia del llamado "Caso Atlético" en 2004.
La temporada 1995/96 fue una de las más importantes del Club, ya que por primera vez en su historia el club rojiblanco obtendría el doblete al conquistar la Liga y la Copa del Rey en la misma temporada. El 10 de abril de 1996, el equipo venció por 1-0 al FC Barcelona en el Estadio de la Romareda, con un gol marcado de cabeza por el serbio Pantic a pase del lateral Delfí Geli, proclamándose campeón de la Copa del Rey por novena vez en su historia.

El 25 de mayo de 1996, el equipo dirigido por Radomir Antic se adjudicó el título de campeón de la Primera División de España por novena vez. Estos dos títulos rompieron con la hegemonía del Real Madrid y el FC Barcelona en la Liga. Algunos futbolistas destacados de la temporada fueron Caminero, Simeone, Pantic y Kiko. El 7 de mayo de 2000, el club consumó su descenso a la Segunda División, tras empatar contra el Real Oviedo.
El Atlético logró retornar a Primera División el 28 de abril de 2002, con un equipo dirigido por Luis Aragonés. Este período se conoce como los años en el infierno, debido a una campaña de captación de socios lanzada por el club El club finalizó la temporada como campeón de segunda división.
A partir de la temporada 2002/2003 el club se mantiene en la mitad de la tabla de la Liga hasta la temporada 2007/2008, en la que vuelve a clasificarse para la fase previa de la Liga de Campeones.
El 27 de agosto logró clasificarse para la Liga de Campeones derrotando al FCSchalke 04 . En el primer partido cayó 1-0 pero en el Estadio Vicente Calderón ganó 4-0 con goles de Kun Agüero, Diego Forlán, Luis García y Maxi Rodríguez.

El Atlético logró pasar con autoridad la liguilla que daba acceso a los octavos de final de la Liga de Campeones, sin embargo fue eliminado en la primera fase de la eliminatoria por el FC Oporto el 11 de marzo de 2009. En la Liga, no obstante, el Club repitió la clasificación a la ronda previa de la Liga de Campeones de la UEFA 2009-10.
-En mayo del 2010 conquista la Europa League y queda subcampeón de la Copa del Rey.
-El 27 de agosto de 2010 gana la Supercopa de Europa al Inter de Milán , en Mónaco, por 2-0.