Sebastian Rudy spielte für mehrere deutsche Junioren-Nationalmannschaften. Er belegte 2007 mit Deutschland bei der U-17-Weltmeisterschaft den dritten Platz. Danach spielte er für die U-18- und die U-19-Nationalmannschaft und die U-21-Nationalmannschaft.
Weil sich nach Bastian Schweinsteiger und Christian Träsch auch noch Sami Khedira und Simon Rolfes verletzt hatten, wurde Rudy am 5. Juni 2011 von Bundestrainer Joachim Löw für das EM-Qualifikationsspiel der A-Nationalmannschaft gegen die Auswahl Aserbaidschans am 7. Juni 2011 erstmals nominiert, kam jedoch nicht zum Einsatz.
Erst im Mai 2014 wurde Rudy für das Test-Länderspiel gegen Polen nach drei Jahren erneut für die Nationalmannschaft berufen. In diesem Spiel, zu dem kurz vor der WM-Vorbereitung 2014 ein Großteil der Stammspieler verhindert war, debütierte er am 13. Mai 2014 neben elf anderen Spielern beim torlosen Remis in Hamburg.
Am 2. September berief ihn Löw wegen personeller Sorgen im defensiven Mittelfeld nachträglich in den Kader für das Test-Länderspiel gegen Argentinien und für das EM-Qualifikationsspiel gegen Schottland, in dem er sein Startelfdebüt gab.
Für die Europameisterschaft 2016 wurde Rudy in den erweiterten, 27 Spieler umfassenden Kader berufen. Im endgültigen Kader war er jedoch nicht vertreten. Beim FIFA-Konföderationen-Pokal 2017 in Russland verpasste Rudy lediglich 16 Minuten, stand bei allen Spielen in der Startelf und gewann mit der Mannschaft das Turnier.
Bei der WM 2018 zog er sich im zweiten Gruppenspiel gegen Schweden einen mehrfachen Nasenbeinbruch zu. Aufgrund dieser Verletzung und der darauf folgenden Operation, bei der eine Vollnarkose eingesetzt wurde, fiel Rudy für das dritte Gruppenspiel gegen Südkorea aus, bei dem die deutsche Mannschaft nach einer schwachen Leistung 0:2 verlor und somit als Gruppenletzter aus dem Turnier ausschied.