Identifying Actionable Messages on Social Media

Identifying Actionable Messages on Social Media Nemanja Spasojevic, Adithya Rao

October 29, 2015 @ 2015 IEEE International Big Data Conference Workshop on Mining Big Data in Social Networks

Motivation ● ● ●

Customer Support PR Managment Engagement

Motivation - Lithium Social Web

Problem Setting Identify actionable social media messages in context of an agent of the company. Actionable message - clear call to action. Eg. raising an issue to which agent may provide helpful response.

Problem Setting Identify actionable social media messages in context of an agent of the company. Actionable message - clear call to action. Eg. raising an issue to which agent may provide helpful response. ● ● ●

75 companies / brands 35 languages Facebook & Twitter

Examples

Challenges - Company Behaviour Depending on the company: 1. Categories a. Media Distribution b. Telecommunications c. Retail (Apparel, Beauty, Electronics...) d. Airlines e. Manufacturers 2. Different Objectives 3. Various Data Coverage Across Companies

Challenges - Social Network Spoken language depends on platform.

Twitter

*public data

Facebook

Challenges - Language ar:2015‫\)ﻋﺮض )اﻛﺘﻮﺑﺮ‬n‫ ﺷﮭﻮر ﺑﺎﻷﺿﺎﻓﮫ راوﺗﺮ ﻣﺠﺎﻧﺎ واﯾﺮﻟﺲ‬10 ‫ ﻟﻤﺪة‬%50 ‫ أﺷﺘﺮك وأﺣﺼﻞ ﻋﻠﻰ ﺧﺼﻢ‬, ‫\اﻷن وﻟﻔﺘﺮة ﻣﺤﺪودة ﻟﻠﻌﻤﻼء اﻟﺠﺪد‬n‫ اﺣﺼﻞ ﻋﻠﻰ ﺑﺎﻗﺎت‬LINKDSL ‫\ﺑﺎﻹﺿﺎﻓﺔ‬n‫\*ﻟﻠﺒﺎﻗﺎت اﻟﻐﯿﺮ ﻣﺤﺪودة و ﻟﯿﻨﻚ ﺳﺒﯿﺪ و ﻟﯿﻨﻚ ﺑﻠﺲ راوﺗﺮ ﻻﺳﻠﻜﻲ‬n‫أﺳﻌﺎر اﻟﺒﺎﻗﺎت )ﺧﻼل‬ ‫\اﻟﻌﺮض‬n‫\اﻟﻌﻨﻮان ﺗﻔﺼﯿﻠﻲ‬n‫\اﻟﻤﻨﻄﻘﺔ و اﻟﻤﺤﺎﻓﻈﺔ‬n‫\رﻗﻢ ارﺿﻰ‬n‫\اﺳﻤﻚ ﺛﻼﺛﻲ و ﻋﻨﻮاﻧﻚ‬n‫رﻗﻢ‬ bg:Всем привет! Пожалуйста подпишитесь на мой канал на twitch. Я делаю трансляции по играм:forza horizon 2,forza motorsport 5 GTA 5 online, Battlfield Hardline,watch dogs,world of tanks. Вот ссылки: http://www.twitch.tv/lexus9949http://www.twitch.tv/lexus9949http://www.twitch.tv/lexus9949http://www.twit cs:Dobrý den,\ntak po nějakém čase vás zdravím. Přístroj jsem reklamoval a ukázalo se, že se jednalo o vadný kryt přístroje. Což bylo alespoň trochu potěšující, že popsané chování přístroje nebyl záměr, ale chyba. Z Vašich reakcí se zdálo, že chyba bude všude jinde než v HW.\n\nBohužel po tom, co byl přís da:Hej igen \n\nJeg har nu været forbi, jeres Nokia steder her i Paris og de nægter at have noget med det at gøre.. Og jeg bor på ingen måde i nærheden af de steder!!! Undskyld men det er jo absurd at give nogle adresser som nægter at gøre det!!! Så hvad er det for en service eller virkelig mangel på sam de:Gewinne jetzt auf Airbnb die Wohnung des Weihnachtsmannes und feiere Silvester im hohen Norden!\r\n\r\n1. Registriere dich bei Airbnb\r\n2. Klicke auf «Nimm Kontakt auf» unterhalb der Beschreibung\r\n3. Wähle beim Check-In den 27.12. aus\r\n4. Antworte im Kontaktfeld, warum du dich als Haussitter eignest\r\n5. es:Buenos días\n\nHe recibido un mail en el que se me informa, que a partir \nde septiembre, mi tarifa pasa a tener un coste de 43,95€, cuando yo la \ncontrate por un precio de 41,95€.\n\nEn el mismo mail se me indica que si \nlo deseo, puedo efectuar la baja de mi linea sin CP.\n\nHe llamado al \nservicio de At et:ini digi suka tipu org \n這 digi很喜歡騙人的 \n請大家小心這個 digi了 \n他昨晚 block我 facebook\n我還有很多 facebook\n我不怕他 block我 \n現在我那個 Facebook他 block了 \n他怕我說他的丑事情 \n我的 東西有一年了 \n他還沒有去做 \n每天上網打電話有問題 \n他一直說我電話有問題 \n我也在他公司買了一架手機試試 \n也是一樣上網有問題 \n他還一直 說我手機壞了的藉口 \ndigi是一個大騙子 \n我 要求退出 digi向他拿回裡面的錢轉台 \n他不給我轉台 \n一直叫我用完裡面的錢才轉台 \n你媽媽 fa:‫ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ‬ ‫ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮﻛﮫ ﻧﺼﺎﺑﮫ ﺷﺮ‬ fi:Mitenkäs kalenteriin sitten pystyy lisäämään sellaisen henkilön syntmäpäivän jolle ei ole puhelinnumeroa eikä kyseinen henkilö ole missään Facebookissa tai vastaavassa. Puhelintietojen taakse kun tallentaa syntymäpäivän niin ei sekään näy kalenterissa. Ainoastaan facessa olevien henkilöiden. gu:િમત ્ તા ની તે કઇ યા યા હોય...!\nિમત ્ કઇ વહાલો દવલો હોય...!\nઅને વહાલો દવલો હોય તો એ 'િમત ્ ' હોય?\n\nમન ની સાથે મહક ઉઠ\nઅને\nમા યલો ની સાથે મલક ઉઠ\nએ િમત ્ . ..\n\nિમત ્ \nએ જ ની સંગાથે\nકોઇ પણ ગાથા રચાતી હોય\n ને ખભે હાથ રાખી\n જદગી ગાતી હોય નાચતી હોય\n he:‫\!!!!?????!!!עקיצה‬n‫ קבלתי את המייל הזה עם לוגו של‬PayPal\n‫\!!!נראה לי כמו ניסיון עקיצה!!!! כדי לקבל פרטי חשבון בנק וכדומה‬n‫\!!!!???? מה זה‬n---\n\n \n \n‫\החשבון שלך הוגבל עד שנקבל את תגובתך‬n‫שלום‬,\n‫אנחנו זקוקים לעזרתך בפתרון בעיה בחשבון‬ ‫ כדי שיהיה לנו זמן למצוא פת‬.‫שלך‬ hi:बीड़ी अब\r\nCIGARETTE\r\nबन गयी,\r\nचटाई\r\nCARPET बन गयी,\r\nमु केबाजी\r\nBOXING बन गयी,\r\nकु ती हमार \r\nWRESLING बन गयी,\r\n ग ल डंडा\r\nCRICKET बन गया,\r\n..हमारा भारत\r\nGREAT बन गया..\r\nगाय हमार \r\nCOW बन गयी,\r\nशम हया अब\r\nWOW बन गयी,\r\nकाढ़ा हमारा\r\nCHAI बन गया,\r\nछोरा ब id: Microsoft \r\n Oo......................... \r\n \r\n\nBila ada langkah membekas lara Ada kata merangkai dusta Ada tingkah menoreh luka Mohon maaf lahir dan bathin Selamat hari raya Idul Fitri 1436 H\r\n\n [[488232091206393]]\r\n.................................oO \r\n it:Egregio Sig. Boemio,\n\n \n\nLa ringraziamo per aver contattato Microsoft mobile devices support.\n\n \n\nLe scriviamo in riferimento alla Sua telefonata e alla Sua richiesta di riparazione in garanzia, per confermarLe che in data 06.08.2015 il Laboratorio Nazionale Prima Comunicazione S.r.l. ha effettuato ja:★ █▓▒ ░►\r\nしѺ√乇し【ツ ℓツ】 \r\n✔ ◄░▒ ▓█★ \r\n✿ ℓ∴ ✿ \r\n✿ ㅜ ℓ ✿ \r\n✿ ∴ ✿ \r\n\n>●●»•••«●●»•••« ●●\r\n✔ \r\n>··٠٠••●●❥❥❥❥ ✔ \r\n>··٠٠••●●❥❥❥❥ ✔ \r\n >··٠٠••●●❥❥❥❥ ✔ \r\n·\n★ █▓▒ ░►✔ \r\nしѺ√乇し【ツ ℓツ】 \r\n✔ ◄░▒ ▓█★ \r\n✿ ℓ∴ ✿ \r\n✿ ㅜ ℓ ✿ \r\n✿ ∴ \n★ █▓▒ ░►✔ \r\nしѺ√乇し【ツ ℓツ】 \r\n✔ ◄░▒ ▓█★ \r\n✿ ℓ∴ ✿ \r\n✿ ㅜ ℓ ✿ \r\n✿ ∴ ✿ \r\n\n>●●»•••«●●»•••« kn:Jesus's ೆಸ ನ ಾ ಎ ೈ ೆ !!!!!!! \n ◌ೕವ ಧನ ಾದಗಳ ! ೆ ೖ ಬಯ ದ ೆ ... ನನ ೆ ೇ ಸಲು! \nಆ ೆ ೖ ೇವರು, ಯೂ ವ , ಕತ ಾದ ೕಸು ಸ ನ ತಂ ೆಯ ಸೃ ಕತ , ◌ೕವ ಆ ◌ೕ ಾ ದ, ಮ

Methodology Domain attributes:

Company (c) , Language (l) , Source (s)

Eg. fully specified domain: D = {c, l, s} Consider all domains: P(D) = {{}, {c}, {l}, {s}, {c, l}, {l, s}, {c, s}, {c, l, s}} Example: P({yahoo, en, tw}) = {{}, {yahoo}, {en}, {tw}, {yahoo, en}, {en, tw}, {yahoo, tw}, {yahoo, en, tw}} Model Building: Build classifiers CD* for all D* ∈ P(D) , and choose classifier with best F measure evaluated on validation set.

System Overview

Features ● ● ● ● ●

Lexicon Based (generated, and SentiWebNet 3.0) Marker Based ( ?, !, via, rt, @, #, ) Emoticon (Text emoticons, Emoji, Kamoji) Readability Features (Flech-Kincaid, Dale-Chall) Document Length

Lexicon Generation ●

For each domain, class (d, a) generate dictionary wd,a(t) messaged,a

tokensd,a

ndfd,a

adfd,a

wd,a

Lexicon Example

Marker Features ● ● ● ● ●

‘?’, ‘!’ - punctuation ‘rt’, ‘via’ - credit original content author ‘@’ - mention draw attention to user or credit authorship ‘#’ - indicators of topics associated with content - external context

Emoticon Features ● ● ●

Text Emoticons :-) , :) , }:-> , 8-) ... Emoji , , , , , , ... Kamoji (╯✧▽✧)╯, ‘o(>ω_