Peržiūrėti šaltinį Entropija (informacijos teorija)

'''Entropija''' – [[Informacijos teorija|informacijos teorijoje]] naudojamas dydis, kuris apibūdina vidutinį informacijos kiekį, kurį teikia vienas pranešimas (kai perdavimo kanale nėra trukdžių).

Informacinės entropijos sąvoką 1948 m. pristatė [[Claude Elwood Shannon|Klodas Šanonas]] savo  darbe „Matematinė komunikacijos teorija“ (''A Mathematical Theory of Communication''),<ref name="shannonPaper1">{{cite journal|last=Shannon|first=Claude E.|author-link=Claude Shannon|date=July 1948|title=A Mathematical Theory of Communication|journal=Bell System Technical Journa]|volume=27|issue=3|pages=379–423|doi=10.1002/j.1538-7305.1948.tb01338.x|hdl-access=free|hdl=10338.dmlcz/101429}} ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf here])</ref><ref name="shannonPaper2">{{cite journal|last=Shannon|first=Claude E.|author-link=Claude Shannon|date=October 1948|title=A Mathematical Theory of Communication|journal=Bell System Technical Journal|volume=27|issue=4|pages=623–656|doi=10.1002/j.1538-7305.1948.tb00917.x|hdl-access=free|hdl=11858/00-001M-0000-002C-4317-B}} ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf here])</ref> kuri dar vadinama '''Šenono entropija'''.

== Formulė ==

: <math>H = -\sum_{i=1}^np_i\log_a p_i\,\!</math>

== Šaltiniai ==
{{Išnašos}}

[[Kategorija:Informacijos teorija]]