Melikşah'tan sonra sırasıyla başa geçen I. Mahmud (1092-1094), Berkyaruk (1094-1105), Müizzeddin Melikşah (1105-1105) ve Mehmed Tapar (1105-1118) dönemlerinde Büyük Selçuklu Devleti gücünü ve eyaletlerdeki merkezi denetimini giderek yitirdi. 1118'de tahta çıkan Ahmed Sencer’in ülke topraklarını yeniden birleştirme çabası da başarılı olamadı. Nitekim Sencer, ayaklanan göçebe Oğuzlara 1153'te tutsak düştü. İki yıl sonra kaçarak kurtulduysa da ülkede iktidarını yeniden sağlayamadan 1157’de öldü. Büyük Selçuklu Devleti böylece sona erdi.

Hanedan üyeleri yönettikleri bölgelerde bağımsız davranmaya başladılar. Daha önce bağımsızlıklarını ilan etmiş olan Selçuklu hanedanın kurduğu devletlerden yalnızca Anadolu Selçuklu Devleti, yüz yılı aşkın bir süre daha ayakta kalabildi. Ayrıca devletin gerilemesinin de bir sebebi Haçlı seferleri ,Fatimilerle olan çatışmalar, Hasan Sabbahın Batinilik propogandaları ve Oğuz boylarının ayaklanmaları olmuştur. Bunun sonucunda ise Abbasi padişahları Selçuklu egemenliğinden kurtulmak için bir takım çalışmalar yürütmüştür. Bunlar Selçuklu Devleti'nin yıkılmasına neden olan etkenler ve nedenlerdir. Özet olarak Selçuklu Devletinin yıkılma nedenleri olarak aşağıdaki nedenler sayılabilir:

Büyük Selçuklu Devleti’nin örgütlenme biçimi, kendisinden önceki İslam devletlerine benziyordu. Hint-İran devlet anlayışını yansıtan bu örgütlenmede, eski Türk devlet geleneğinin de belirgin etkisi vardı. Eski Türk devlet geleneğinde olduğu gibi, Büyük Selçuklu Devleti’nde de ülke toprakları hanedanın ortak malı sayılıyordu. Bundan dolayı Büyük Selçuklu toprakları eyaletlere bölünmüştü. Eyaletlerin yönetimi de Melik olarak adlandırılan hanedanın erkek üyelerine bırakılmıştı. Tuğrul Bey'den önce boy başkanına Oğuz geleneğine göre Yabgu deniyordu. İslam dininin benimsenmesinden sonra, hükümdarlar İslam devletlerindeki geleneğe uyarak Suriye Selçukluları ile Kirman Selçukluları’na Irak Selçukluları da katıldı. Büyük Selçuklu topraklarına göçen yeni Oğuz boyları da iç düzeni büyük ölçüde sarstılar. Bu karışıklık döneminde Harezmşahlar, Büyük Selçuklu toprakların büyük bölümünü ele geçirdiler. Bir süre daha direnen Kirman Selçukluları 1175’te, Irak Selçukluları da 1194’te yıkıldı. sultan unvanını kullandılar.

Başkentte oturan sultan, devletin mutlak egemeniydi. Bütün atamalar ve toprak dağıtımı sultanın buyruğuyla yapılıyordu. Ayrıca sultan yüksek yargı kurullarına da başkanlık ediyordu. Hükümdarların "danışman"ı konumundaki kişiler yönetimde önemli rol oynuyorlardı. Alp Arslan döneminde bu göreve getirilen Nizamülmülk, İslam geleneği uyarınca vezir unvanı aldı ve devlet yönetiminde köklü değişiklikler yaptı. Nizamülmülk, devlet yönetimine ilişkin anlayışını Siyasetname adlı kitabında da anlatmıştır. Büyük Selçuklu Devleti’nde devlet işleri "Divanı Âlâ " adı verilen bir kurulda görüşülür ve karara bağlanırdı. Ayrıca maliye, askerlik ve adalet işleriyle uğraşan başka divanlar da vardı. Meliklerin yönetimindeki eyaletlerde de büyük ölçüde merkezdeki örgütlenme örnek alınmıştı.Devlet islam kültürünü yaygınlaştırmak için görevler üstlenmiştir.

Toprak yönetimi ve ordu 
Büyük Selçuklu ülkesinde tarım yapılan topraklar ikta denen bölümlere ayrılmıştı ve iktalar hizmet karşılığında belirli süre için ileri gelenlere veriliyordu. Bu usulle verilen topraklar has, ikta ve haraci olarak üçe ayrılıyordu. Has toprakların geliri doğrudan sultan ailesine veriliyordu. İkta sahipleri ise, toprakları işleme karşılığında belli sayıda asker besliyor ve savaş zamanlarında orduya katılıyorlardı. Haraci olarak adlandırılan toprakların geliri de doğrudan devlet hazinesine aktarılıyordu.

Alp Arslan dönemine kadar beylere bağlı göçebe Türkmenlerden oluşan ordu Nizamülmülk tarafından yeniden yapılandırıldı. Nizamülmülk, aylıklı askerlerden oluşan sürekli bir ordu kurdu. Bu aylıklı askerlere "gulam" deniyordu ve bunlar temel olarak başkentte iktidarı korumakla görevliydi. Savaş sırasında asıl ordu ise ikta sahiplerinin yönetimindeki atlı askerlerden oluşurdu. Ayrıca bağlı devletler de savaş zamanlarında sultanın ordusuna asker gönderiyorlardı. Melikşah döneminde orduda 50 bin kadar atlı asker olduğu bilinmektedir.

 Toplumsal ve ekonomik yaşam

Büyük Selçuklu Devleti'ndeki Oğuz boyları ve başka bazı topluluklar göçebeydiler. Oğuz boylarının başında bir bey bulunuyordu. Bu göçebe topluluklar geçimlerini hayvancılıkla sağlıyorlardı ve otlak bulmak için de mevsimlere göre yer değiştiriyorlardı. Devlet göçebe topluluklardan otlak vergisi alıyordu. Yerleşik nüfus ise çiftçilik, zanaatçılık ve ticaretle uğraşıyordu. Kentlerdeki tüccar ve esnaf, işkollarına göre loncalar biçiminde örgütlenmişti. Merkezi devlette görevli memurlar ile sürekli ordudaki askerler maaş alıyorlardı.

Büyük Selçuklular ticaretin gelişmesini destekliyor ve kervan yollarının güvenliğini sağlıyorlardı. Bu dönemde en önemli uluslararası ticaret, Uzakdoğu'dan Avrupa'ya kadar uzanan İpek Yolu ve Baharat Yolu aracılığıyla gerçekleşiyordu. Tarımın gelişmesi için sulama kanalları vardı. Yün, pamuk, ipek dokumacılığı çok gelişmişti.

Büyük Selçuklu Devleti’nde öğrencilerin, yolcuların ve yoksul halkın doyurulduğu sosyal yardım kurumu olan imarethaneler vardı. Devletin yönetici-memur kadroları, Nizamülmülk’ün kuruluşuna öncülük ettiği Nizamiye medreselerinde yetiştiriliyordu.

 Eğitim, bilim ve sanat

Büyük Selçuklular, kendilerinden önce var olan medreselerde öğretimi sürdürdüler, ama bununla yetinmediler. Vezir Nizamülmülk’ün öncülüğünde ve onun adını taşıyan yeni medreseler kurdular. Nizamiye medreselerinin ilki 1067’de Bağdat'ta açıldı. Daha sonra Isfahan, Rey, Merv(selçukluların başkenti), Belh, Herat, Basra, Musul gibi kentlerde yeni Nizamiye medreseleri kuruldu. Medrese sisteminde programlı ve belli bir yönteme dayanan eğitim ilk kez bu medreselerde verildi. Medreselerde din konularının yanı sıra matematik, felsefe, dil ve edebiyat gibi dersler de okutuluyordu ve medreselerde zengin kitaplıklar vardı. Medreselerin dışında da ülkenin çeşitli yerlerinde kurulmuş kitaplıklar bulunuyordu. Melikşah döneminde önce Isfahan'da, sonra Bağdat'ta birer gözlemevi kuruldu. Büyük Selçuklular Arapça'yı din ve bilim dili, Farsça'yı edebiyat ve devlet dili, Türkçe'yi ise saray ve orduda günlük konuşma dili olarak kullanıyorlardı.

Büyük Selçuklular, var olan kentleri bayındır hale getirirken yeni kentler de kurdular. Ülkenin pek çok yerinde yeni kurumlar ve yapılar inşa ettiler. Bunlar cami, medrese, kervansaray, hastane, köprü, çeşme, imaret, han, hamam, türbe ve kümbet gibi yapılardı.

Büyük Selçuklular, ince ve uzun minarelerle cami mimarisine yeni bir anlayış getirdiler. Isfahan'daki Mescid-i Cuma bu anlayışla yapılmış en eski örnektir. Büyük Selçuklu anıtmezarları olan kümbetler de yaygın mimari yapılardır. Kümbetler içten kubbe, dıştan ise piramit ya da konik bir çatıyla örtülüyordu. Dört köşeli, çok köşeli ya da yuvarlak formdaki Büyük Selçuklu kümbetleri genellikle iki katlı olarak yapılıyordu. Bu kümbetlerin alt kat mezar, üst kat ise mescit olarak kullanılıyordu.

Büyük Selçuklu sanatında hat (yazı), minyatür, ahşap ve taş oymacılığı, çinicilik, maden işleme, cilt ve çeşitli süsleme sanatları da gelişmişti.