Автоматическая интерпретация эмоционального речевого поведения невозможна без исследования акустических коррелятов естественной эмоциональной речи. Для этого необходим анализ образцов речевых эмоциональных состояний. Такие базы на данный момент существуют для разных языков (английский, немецкий, испанский, японский). Большинство из существующих баз содержит образцы взрослой речи. Эмоциональные реакции взрослых людей сильно обусловлены социальной составляющей: культура, воспитание, национальный менталитет и т.д. На данный момент для определения эмоциональных состояний в речевом материале, как правило, используется аудиторский анализ. Данные аудиторского анализа субъективны и в большинстве случаев неоднозначны. Их часто приходится исключать из анализа, в тех случаях, когда у аудиторов нет полного согласия относительно характера эмоционального проявления в речевом материале. 
Получение данных об отражении состояния в характеристиках голоса взрослых, у которых в силу физиологических особенностей (например, уровня возбудимости, мотивации, утомления и т.д.), влияния социокультурного фактора также представляет ряд трудностей.
Детское эмоциональное поведение менее подвержено влиянию социального фактора, чем поведение взрослых, но с возрастом ребенка в процессе его социализации истинность проявления состояний уменьшается. Поэтому изучение эмоциональной детской речи позволяет найти прямые взаимосвязи акустических характеристик речи с эмоциональными реакциями.