Politeknik Negeri Semarang merupakan satu dari enam politeknik yang didirikan dengan bantuan Bank Dunia sesuai Surat Keputusan Direktorat Jenderal Pendidikan Tinggi Nomor 03/Dj/Kep/1979. Dengan surat keputusan tersebut, didirikan politeknik di Medan, Palembang, Jakarta, Bandung, Semarang dan Malang. Pendirian enam politeknik ini menyusul keberadaan Politeknik Manufaktur Swiss dan ITB yang telah didirikan pada tahun 1976.

Pada saat pertama kali menerima mahasiswa baru di tahun 1982, Politeknik Negeri Semarang saat itu bernama Politeknik Universitas Diponegoro dan membuka tiga jurusan yaitu Jurusan Teknik Sipil, Jurusan Teknik Mesin, dan Jurusan Teknik Elektro.

Sesuai Surat Keputusan Menteri Pendidikan dan Kebudayaan Republik Indonesia (Kepmendikbud) Nomor 175/O/1997 tanggal 6 Agustus 1997, Politeknik Universitas Diponegoro dinyatakan sebagai satuan kerja (satker) mandiri dengan nama Politeknik Negeri Semarang (Polines).