വിവരസിദ്ധാന്തം അനുസരിച്ച് വിവരം അളക്കുവാൻ സാധിക്കും. വിവരം എന്നാൽ അത് ടെക്‌സ്റ്റ്, ഓഡിയോ, വീഡിയോ, ചിത്രം അങ്ങനെ എന്തുമാകാംഎന്തു രൂപത്തിലുമാകാം. ഒരു വിവരസ്രോതസ്സിൽ നിന്നും കിട്ടുന്ന ഡാറ്റയിൽ മിക്കപ്പോഴും അനാവശ്യമായ ആവർത്തനങ്ങൾ ഉണ്ടാകാം. അതായത് ആ ആവർത്തനങ്ങളെ ഒഴിവാക്കിയാലും ആ സ്രോതസ്സിൽ നിന്നും ലഭിക്കുന്ന വിവരം സംവേദനക്ഷമമായിരിക്കുമെന്ന് ലളിതമായി പറയാം. ഒഴിവാക്കാൻ ഇനി ആവർത്തനങ്ങൾ ഇല്ല എന്ന നിലയിൽ സ്രോതസ്സിൽ നിന്നുള്ള ഡാറ്റയെ ചുരുക്കുമ്പോൾ ലഭിക്കുന്നതെന്തോ അതാണ് ആ സ്രോതസ്സിൽ നിന്നും ഉള്ള വിവരത്തിന്റെ യഥാർത്ഥ അളവ് അഥവാ എൻട്രോപ്പി. ഇങ്ങനെ ചുരുക്കിയ ഡാറ്റയെ ബൈനറിയായി സൂക്ഷിക്കാൻ എത്ര ബിറ്റുകൾ വേണ്ടിവരുമെന്നുള്ളത് എൻട്രോപ്പിയുടെ ബിറ്റിലുള്ള അളവാണ്.
