دانلود مقاله ترجمه شده معماری تحلیلی بیگ دیتا برای اینترنت اشیای کوچک – ۲۰۱۸ IEEE:انالیز داده ها و ارزیابی سیستم سیستم پیشنهادی با استفاده از Spark و GraphX با نصب یک Hadoop تک گره در UBUNTU 14.04 LTS coreTMi5 با پردازنده ۳٫ ۳ گیگاهرتز و ۴ گیگابایت حافظه اجرا می شود. برای ترافیک زمان واقعی بسته های Pcap از مجموعه داده ها را ، با استفاده از کتابخانه Wireshark تولید کردیم و آنها را به سیستم توسعه یافته فرستادیم. کتابخانه های ورودی Hadoop-pcap-lib، Hadoop-pcap-side و Hadoop Pcap برای پردازش بسته های شبکه و تولید فرمت های قابل خواندن Hadoop (فایل توالی) در مرحله جمع آوری و تجمع استفاده می شوند تا داده ها بتوانند توسط Hadoop و GraphX پردازش شوند. GraphX برای ساخت و پردازش گراف ها با هدف تصمیم گیری های حمل و نقل هوشمند استفاده می شود. ما میزان بسیار زیاد داده های [۱۴، ۱۵] در نظر گرفتیم. شدت ترافیک در زمان های مختلف در یک مسیر متفاوت است. آنالیز شدت زمان های مختلف روز به مدیران در مدیریت و ساخت یک برنامه ی مناسب برای ترافیک در آن زمان کمک می کند.

مقاله انگلیسی+ترجمه فارسی

فهرست مطالب

چکیده

مقدمه

فناوری جدید

معماری پیشنهاد شده از آنالیز داده های بزرگ برای اینترنت اشیا کوچک

لایه اشیا کوچک

لایه زیرساخت

لایه پلت فرم

لایه کاربرد

انالیز داده ها و ارزیابی سیستم

نکات نتیجه گرفته شده

چکیده

شرکت SK Telecom کره جنوبی اخیرا مفهوم IoST را برای مدل تجارت خود معرفی کرد. این شرکت از IoST، که به طور مدام داده ها را از طریق پلت فرم بی سیم LoRa تولید می کند استفاده کرد. افزایش در نرخ داده های تولید شده توسط IoST به شکل نمایی افزایش می یابد. پس از تلاش برای آنالیز و ذخیره حجم زیادی از داده های IoST با استفاده از ابزار و فن آوری های موجود، شرکت SK Telecom کره جنوبی کمبود ها را سریعا شناسایی کرد. مقاله کنونی در مورد برخی از مسائل بحث میکند و یک معماری آنالیز داده های بزرگ را برای IoST خود ارائه می دهد. یک سیستم توسعه یافته با استفاده از معماری پیشنهادی قادر خواهد بود به طور موثری به آنالیز و ذخیره اطلاعات IoST را انجام دهد و همزمان تصمیم گیری بهتر را ممکن کند. معماری پیشنهادی از چهار لایه تشکیل شده است، یعنی لایه اشیا کوچک، لایه زیربنایی، لایه پلتفرم و لایه کاربردی. در نهایت، یک آنالیز دقیق از یک اجرای داده های بزرگ IoST استفاده شده ی برای پیگیری رطوبت و دما از طریق Hadoop، به عنوان اثبات مفهوم ارائه شده است.

Abstract

The SK Telecom Company of South Korea recently introduced the concept of IoST to its business model. The company deployed IoST, which constantly generates data via the LoRa wireless platform. The increase in data rates generated by IoST is escalating exponentially. After attempting to analyze and store the massive volume of IoST data using existing tools and technologies, the South Korean company realized the shortcomings immediately. The current article addresses some of the issues and presents a big data analytics architecture for its IoST. A system developed using the proposed architecture will be able to analyze and store IoST data efficiently while enabling better decisions. The proposed architecture is composed of four layers, namely the small things layer, infrastructure layer, platform layer, and application layer. Finally, a detailed analysis of a big data implementation of the IoST used to track humidity and temperature via Hadoop is presented as a proof of concept.

نمونه ترجمه مقاله:

مقدمه

داده های بزرگ به تدریج در حال افزایش هستند که به دلیل توانایی آنها برای انجام وظایف مختلف از جمله طراحی طرح های شهری، توسعه و استفاده مجدد از نرم افزار و محصولات و ارتباط با اینترنت اشیا (IoT) است. در حقیقت، پیش بینی کننده های صنعت علاقه بیشتری به مفهوم اینترنت اشیا کوچک (IoST) نسبت به موضوع آکادمیک دارند؛ این احتمالا به دلیل مزایای فراهم شده توسط آنالیز داده باشد  که می تواند برای بسیاری از اهداف مجددا استفاده شود. عبارت داده های بزرگ مربوط به نوع خاصی از داده ها است که سه ویژگی عمده دارند: داده ها حجم زیادی دارند و از فرمت های متفاوت ساخته شده اند و به پردازش سریع نیاز دارند. در حال حاضر چندین محقق در حال کار بر روی طراحی روش های و تکنیک های خاص پردازش داده ها در زمان واقعی هستند. بسیاری از چالش ها مانع پردازش داده های بزرگ در زمان واقعی می شوند، زیرا بسیاری از تکنیک های پردازش باید جنبه های بسیاری از داده ها را در نظر بگیرند. عموما داده های بزرگ توسط بسیاری از منابع آنلاین و آفلاین از جمله ایمیل، چت صوتی و تصویری، تعداد کلیک ها، ترافیک شبکه، مسیرهای پرواز و غیره توسط [1] تولید می شوند. داده های تولید شده توسط این منابع در یک پایگاه داده جمع می شوند که سپس با نرم افزارهای پیشرفته ای مانند Hadoop، GraphX و Spark پردازش می شوند[1]. Hadoop در پردازش داده های آفلاین موثر است، در حالی که Spark و GraphX معمولا برای پردازش داده های آنلاین تا حد مشخصی استفاده می شوند. با این حال، ذخیره، آنالیز، منحصر کردن و نرمالیزاسیون داده های بزرگ هنوز یک کار چالش برانگیز است، و حتی انجام کارهای ساده مثل پردازش و مدیریت داده ها در زمان واقعی بسیار سخت می باشد. به غیر از این چالش ها، محققان با چالش های دیگری نیز مواجه هستند. برای مثال، ارائه داده های بصری (به عنوان مثال، نمودارها، نمودارها، خلاصه ها و جداول) به تصمیم گیرنده ها نیازمند زمان بیشتری نسبت به ارائه مواد است.

داده های بزرگ رابطه بسیار نزدیکی با شبکه های حسگر بی سیم (WSN ها) دارند که داده ها را جمع آوری، حس و انباشته می کنند. امروزه اکثر داده ها توسط حسگر های قرار گرفته در دستگاه های هوشمند در یک محیط هوشمند مانند خانه های هوشمند، شهرهای هوشمند، سلامت الکترونیکی و سیستم های حمل و نقل دارای WiFi  تولید می شوند [2، 3]. حسگرهای مورد استفاده برای عملیات های مختلف شهر هوشمند مقدار زیادی داده تولید می کنند. برای مثال، حسگرهای نصب شده در جاده ها که برای شمارش تعداد وسایل نقلیه استفاده می شوند، می توانند داده هایی را با هزاران و میلیون ورودی در طول دوره های ترافیک سنگین، تولید کنند. داده های پارکینگ