مفهوم آنتروپی اطلاعاتی بر لگاریتم منفی تابع جرم احتمال برای یک مقدار دلالت دارد. بنابراین، زمانی که منبع داده مقداری با احتمال کمتر دارد (یعنی زمانی که رویدادی با احتمال کم اتفاق می‌افتد)، رویداد حاوی «اطلاعات» («غافل‌گیر») بیشتری نسبت به زمانی است که داده منبع دارای مقداری با احتمال بالاتر است..
مقدار اطلاعات منتقل شده توسط هر رویدادی که به این روش تعریف شده است به یک متغیر تصادفی تبدیل می شود که مقدار مورد انتظار آن آنتروپی اطلاعات است. به طور کلی، آنتروپی به بی‌نظمی یا عدم قطعیت اشاره دارد، و تعریف آن که در نظریه اطلاعات استفاده می‌شود، مستقیماً مشابه تعریف مورد استفاده در ترمودینامیک آماری است. مفهوم IE توسط کلود شانون در مقاله خود در سال 1948 با عنوان "نظریه ریاضی ارتباطات" معرفی شد. اصطلاح "آنتروپی اطلاعاتی شانون" از اینجا آمده است.
تعریف و سیستم
مدل پایه یک سیستم انتقال داده از سه عنصر تشکیل شده است: منبع داده، کانال ارتباطی و گیرنده،و همانطور که شانون می گوید، "مشکل اساسی ارتباط" این است که گیرنده بتواند تشخیص دهد که منبع بر اساس سیگنالی که از طریق کانال دریافت می کند چه داده هایی تولید شده است. آنتروپی یک محدودیت مطلق در کوتاه‌ترین میانگین طول رمزگذاری بدون تلفات ممکن برای داده‌های منبع فشرده فراهم می‌کند. اگر آنتروپی منبع کمتر از پهنای باند کانال ارتباطی باشد، داده های تولید شده را می توان به طور قابل اعتماد به گیرنده منتقل کرد (حداقل در تئوری، شاید برخی ملاحظات عملی مانند پیچیدگی سیستم مورد نیاز برای انتقال داده ها نادیده گرفته شود. و مدت زمانی که ممکن است برای انتقال داده ها طول بکشد).
آنتروپی اطلاعات معمولاً با بیت (که به طور متناوب "شانون" نامیده می شود) یا گاهی اوقات در "واحدهای طبیعی" (nats) یا اعشار (به نام "dits"، "bans" یا "hartley") اندازه گیری می شود. واحد اندازه گیری به پایه لگاریتم بستگی دارد که برای تعیین آنتروپی استفاده می شود.
خواص و لگاریتم
توزیع احتمال ورود به سیستم به عنوان معیار آنتروپی مفید است زیرا برای منابع مستقل افزودنی است. به عنوان مثال، آنتروپی شرط منصفانه یک سکه 1 بیت است، در حالی که آنتروپی حجم های m m بیت است. در یک نمایش ساده، بیت‌های log2(n) برای نشان دادن متغیری مورد نیاز هستند که اگر n توان 2 باشد، می‌تواند یکی از n مقدار را بگیرد. اگر این مقادیر به یک اندازه محتمل باشند، آنتروپی (در بیت) برابر است. برابر با آن عدد اگر یکی از مقادیر بیشتر از سایرین محتمل باشد، مشاهده است که محتمل استمعنی رخ می دهد، آموزنده کمتری نسبت به زمانی است که نتیجه ای کمتر عمومی رخ دهد. برعکس، رویدادهای نادرتر اطلاعات ردیابی اضافی را ارائه می دهند.
از آنجایی که مشاهده رویدادهای محتمل کمتر کمتر است، هیچ وجه مشترکی وجود ندارد که آنتروپی (که اطلاعات متوسط در نظر گرفته می شود) به دست آمده از داده های توزیع نابرابر همیشه کمتر یا مساوی log2(n) باشد. وقتی یک نتیجه تعریف می شود، آنتروپی صفر است.
آنتروپی اطلاعات شانون این ملاحظات را زمانی که توزیع احتمال داده های زیربنایی مشخص باشد کمیت می کند. معنای رویدادهای مشاهده شده (معنای پیام ها) در تعریف آنتروپی بی ربط است. دومی فقط احتمال دیدن یک رویداد خاص را در نظر می‌گیرد، بنابراین اطلاعاتی که در بر می‌گیرد، داده‌هایی در مورد توزیع اساسی احتمالات است، نه درباره معنای خود رویدادها. خواص آنتروپی اطلاعات همان چیزی است که در بالا توضیح داده شد.
نظریه اطلاعات
ایده اساسی تئوری اطلاعات این است که هر چه فرد درباره یک موضوع بیشتر بداند، اطلاعات کمتری در مورد آن به دست می آورد. اگر یک رویداد بسیار محتمل باشد، زمانی که رخ می دهد تعجب آور نیست و بنابراین اطلاعات جدید کمی ارائه می دهد. برعکس، اگر رویداد غیرمحتمل بود، بسیار آموزنده‌تر بود که آن رویداد اتفاق افتاد. بنابراین، محموله یک تابع افزایشی از احتمال معکوس رویداد است (1 / p).
حالا اگر رویدادهای بیشتری اتفاق افتاد، آنتروپی کنیدمیانگین محتوای اطلاعاتی که در صورت وقوع یکی از رویدادها می توانید انتظار داشته باشید را اندازه گیری می کند. این بدان معناست که ریختن قالب دارای آنتروپی بیشتری نسبت به پرتاب یک سکه است، زیرا هر نتیجه بلوری احتمال کمتری نسبت به نتیجه هر سکه دارد.
ویژگی ها
بنابراین، آنتروپی معیاری برای پیش بینی ناپذیری یک حالت یا همان چیزی است که میانگین محتوای اطلاعاتی آن را نشان می دهد. برای دریافت درک شهودی از این اصطلاحات، مثالی از یک نظرسنجی سیاسی را در نظر بگیرید. معمولاً چنین نظرسنجی هایی به این دلیل اتفاق می افتد که نتایج مثلاً انتخابات هنوز مشخص نیست.
به عبارت دیگر، نتایج نظرسنجی نسبتاً غیرقابل پیش‌بینی است و در واقع انجام آن و بررسی داده‌ها اطلاعات جدیدی را ارائه می‌دهد. آنها فقط راه های مختلفی برای گفتن این موضوع هستند که آنتروپی قبلی نتایج نظرسنجی بزرگ است.
حالا موردی را در نظر بگیرید که همان نظرسنجی برای بار دوم و بلافاصله پس از اولی انجام می شود. از آنجایی که نتیجه نظرسنجی اول از قبل مشخص است، نتایج نظرسنجی دوم را می توان به خوبی پیش بینی کرد و نتایج نباید حاوی اطلاعات جدید زیادی باشد. در این مورد، آنتروپی پیشینی نتیجه نظرسنجی دوم در مقایسه با اولی کوچک است.
پرتاب سکه
حالا مثال زدن سکه را در نظر بگیرید. با فرض اینکه احتمال دم با احتمال سر برابر باشد، آنتروپی پرتاب سکه بسیار زیاد است، زیرا نمونه ای عجیب از آنتروپی اطلاعاتی یک سیستم است.
این به این دلیل استاینکه نمی‌توان پیش‌بینی کرد که نتیجه یک سکه زودتر از موعد پرتاب شده است: اگر مجبور به انتخاب باشیم، بهترین کاری که می‌توانیم انجام دهیم این است که پیش‌بینی کنیم که سکه روی دم فرود خواهد آمد، و این پیش‌بینی با احتمال درستی خواهد بود. 1/2. چنین پرتاب سکه ای یک بیت آنتروپی دارد، زیرا دو نتیجه احتمالی وجود دارد که با احتمال مساوی اتفاق می افتد، و مطالعه نتیجه واقعی حاوی یک بیت اطلاعات است.
برعکس، چرخاندن یک سکه با استفاده از هر دو طرف با دم و بدون سر دارای آنتروپی صفر است زیرا سکه همیشه روی این علامت قرار می گیرد و می توان نتیجه را کاملاً پیش بینی کرد.
نتیجه گیری
اگر طرح فشرده سازی بدون تلفات باشد، به این معنی که همیشه می توانید کل پیام اصلی را با فشرده سازی بازیابی کنید، در این صورت پیام فشرده شده همان مقدار اطلاعات اصلی را دارد، اما با کاراکترهای کمتری منتقل می شود. یعنی اطلاعات بیشتر یا آنتروپی بالاتری در هر کاراکتر دارد. این به این معنی است که پیام فشرده شده افزونگی کمتری دارد.
به طور تقریبی، قضیه کدگذاری کد منبع شانون بیان می کند که یک طرح فشرده سازی بدون تلفات نمی تواند پیام ها را به طور متوسط کاهش دهد تا بیش از یک بیت اطلاعات در هر بیت پیام داشته باشند، اما هر مقدار کمتر از یک بیت اطلاعات در هر بیت را می توان به دست آورد. پیام ها با استفاده از طرح رمزگذاری مناسب. آنتروپی یک پیام بر حسب بیت چند برابر طول آن، اندازه‌گیری مقدار اطلاعات کلی آن است.
