1997 yılında Beşiktaş yöneticilerinden Uğur Ekşioğlu ile kavga eden Sergen, Yönetim Kurulu ile ters düştü. Kulübü ile bir türlü anlaşamayan Sergen, İstanbulspor Başkanı Cem Uzan’ın çok paralı transfer önerisini geri çeviremedi ve Temmuz ayında İstanbulsporlu oldu. Yeni bir vizyona giren İstanbulspor, Sergen’in yanısına ligin birçok yıldızını kadrosuna katmıştı. İstanbulspor’da başarılı bir sezon geçiren Sergen, gelecek dönemin başlarında takımın bir ara kötü gitmesi nedeniyle Başkan Cem Uzan’ın takımı dağıtması üzerine Fenerbahçe’ye transfer oldu. Fenerbahçe’de sezonu tamamlayan Sergen, 1999-2000 sezonunu başında bu kez Sarı-Lacivertlilerle anlaşamadı. Kanaryalar’da 9 maç oynadıktan sonra Fatih Terim’in isteğiyle Galatasaray’a geldi. Statü gereği Avrupa Kupası maçlarında oynayamayan Sergen Yalçın, UEFA Şampiyonu kadronun içinde yer alamadı, ancak lig ve kupa şampiyonluğu yaşadı.