До конца 19 в. в латышском обществе господствовала прибалтийская немецкая элита. Прибалтийские немцы сохраняли свое привилегированное положение и в 17 в., когда Прибалтика находилась под властью Швеции и Польши, и в 18-19 вв. под властью России. Некоторые из них происходили из семей крестоносцев и торговцев, осевших в Прибалтике в 12-13 вв.; однако большинство немецких семей поселилось здесь значительно позднее. Среди немецкого населения наибольшую власть имели аристократы (бароны), владевшие большей частью земли, а также богатые горожане (бюргеры), которые преобладали в жизни таких центров, как Рига и Елгава. Кроме немцев, в высшие слои общества входили российские чиновники, а на юго-востоке - польские землевладельцы. Подавляющую массу сельского населения (ок. 85-90%) составляли латышско-говорящие крестьяне (освобождены от крепостной зависимости в начале 19 в.).

Латышский национализм, рост промышленности и политика русификации, проводившаяся царским правительством, разрушили эту систему в конце 19 в. С приобретением Латвией независимости (в 1918) русские и немцы потеряли свое привилегированное положение, а латыши стали контролировать политические институты страны. Однако даже в 1920-е и 1930-е годы почти четверть населения Латвии составляли национальные меньшинства, самыми многочисленными среди которых были русские (10,6%), евреи (4,8%) и немцы (3,2%).

Вторая мировая война и депортации 1940-х годов значительно уменьшили численность населения Латвии. 120 тыс. латышей-коллаборационистов ушли вместе с отступающими немцами в 1944-1945; в Сибирь и Среднюю Азию советскими властями было депортировано ок. 16 тыс. в 1940, ок. 140 тыс. в 1944-1945 и ок. 100 тыс. человек в 1949. По оценкам, число латышей в Латвии в 1949 было на 435 тыс. человек (треть латышского населения) меньше, чем в 1935.

Изменения в социальной и этнической структуре населения уничтожили довоенный средний класс (чиновников, интеллигенцию, предпринимателей). Поэтому в послевоенный период руководство советской Латвии заполняло посты чиновников обрусевшими латышами, которые выросли в довоенном Советском Союзе, или представителями других этнических групп. После 1991 социальная структура испытывает обратную трансформацию - все большую роль начинают играть возвращающиеся потомки латышей-эмигрантов.

С конца 1990 безработица стала расти, достигнув 7,6% в сентябре 1998, а пособия по безработице существенно отставали от прожиточного минимума. В январе 1997 правительство увеличило возраст официального выхода на пенсию до 65 лет как для мужчин, так и для женщин (ранее 62 года для мужчин и 55 лет для женщин). Доля населения, находящаяся за чертой бедности, постоянно увеличивается, и многие люди вынуждены работать на нескольких рабочих местах, чтобы прокормить свои семьи.