Твиттер

[~[*(O.O)*]~]

Привет!

Я пытаюсь скачать твиты с хештегами на кириллице, но у меня не выходит.
В сети почему-то не могу найти ответа.

Вы не могли бы посмотреть код? Огромное спасибо!

identation не скопировалась

1. #!/usr/bin/env python
   
2. # encoding: utf-8
   
3. 
   
   
4. import tweepy #github.com/tweepy/tweepy
   
5. import csv
   
6. 
   
   
7. import sys
   
8. # sys.setdefaultencoding() does not exist, here!
   
9. reload(sys) # Reload does the trick!
   
10. sys.setdefaultencoding('UTF8')
    
11. 
    
    
12. 
    
    
13. #Twitter API credentials
    
14. 
    
    
15. 
    
    
16. def get_all_tweets(screen_name):
    
17. #Twitter only allows access to a users most recent 3240 tweets with this method
    
18. 
    
    
19. #authorize twitter, initialize tweepy
    
20. auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
    
21. auth.set_access_token(access_key, access_secret)
    
22. api = tweepy.API(auth)
    
23. 
    
    
24. #initialize a list to hold all the tweepy Tweets
    
25. alltweets = []
    
26. 
    
    
27. #make initial request for most recent tweets (200 is the maximum allowed count)
    
28. new_tweets = api.user_timeline(screen_name = screen_name,count=200)
    
29. 
    
    
30. #save most recent tweets
    
31. alltweets.extend(new_tweets)
    
32. 
    
    
33. #save the id of the oldest tweet less one
    
34. oldest = alltweets[-1].id - 1
    
35. 
    
    
36. #keep grabbing tweets until there are no tweets left to grab
    
37. while len(new_tweets) > 0:
    
38. print "getting tweets before %s" % (oldest)
    
39. 
    
    
40. #all subsiquent requests use the max_id param to prevent duplicates
    
41. new_tweets = api.user_timeline(screen_name = screen_name,count=200,max_id=oldest)
    
42. 
    
    
43. #save most recent tweets
    
44. alltweets.extend(new_tweets)
    
45. 
    
    
46. #update the id of the oldest tweet less one
    
47. oldest = alltweets[-1].id - 1
    
48. 
    
    
49. print "...%s tweets downloaded so far" % (len(alltweets))
    
50. 
    
    
51. #transform the tweepy tweets into a 2D array that will populate the csv
    
52. outtweets = [[tweet.id_str, tweet.created_at, tweet.text.encode("utf-8"),tweet.retweet_count,tweet.favorite_count] for tweet in alltweets]
    
53. 
    
    
54. #write the csv
    
55. with open('%s_tweets.csv' % screen_name, 'wb') as f:
    
56. writer = csv.writer(f)
    
57. writer.writerow(["id","created_at","text","retweet_count","favorite_count"])
    
58. writer.writerows(outtweets)
    
59. 
    
    
60. pass
    
61. 
    
    
62. 
    
    
63. if __name__ == '__main__':
    
64. #pass in the username of the account you want to download
    
65. get_all_tweets("гамлета")
    

@темы: Computer Science, Интернет

Comments

[Reflendey]

А что именно не выходит?

Я подправил у себя локально отступы и запустил указав вместо гамлета medvedevrussia.

в итоге создался файл и там есть хештеги на русском, строки вроде
787036800376242176,2016-10-14 21:06:10,RT @Pravitelstvo_RF: Бюджет 2017-2019. Приоритетные проекты. СОБЫТИЯ НЕДЕЛИ #видеоблог #Медведев t.co/7PBdoBWs6m,94,0

[~[*(O.O)*]~]

Reflendey, вот если я ищу хештег на латинице, все ок. То есть medvedevrussia нормально выходит, а #медведевроссия не выходит.
При том, тут не выходит и в другом скрипте с использованием JSON тоже не выходит(( Кракозябры выходят. А в ДжейСоне вообще пустые твиты прилетают, если по-русски пишутся.

[Reflendey]

Комментарии из какого-то примера?

#pass in the username of the account you want to download
get_all_tweets("гамлета")

Это же название аккаунта в котором надо искать, а не хэштег, и все падает потому что такого аккаунта нет.
И выводится информация по всем постам

outtweets = [[tweet.id_str, tweet.created_at, tweet.text.encode("utf-8"),tweet.retweet_count,tweet.favorite_count] for tweet in alltweets]

Хештеги идут похоже просто как часть текста, то есть tweet.text.encode("utf-8")

Чтобы как-то отфильтровать по конкретному хештегу надо это явно делать.
Например

outtweets = [[tweet.id_str, tweet.created_at, tweet.text.encode("utf-8"),tweet.retweet_count,tweet.favorite_count] for tweet in alltweets if '#выборымэра' in tweet.text.encode("utf8")]

Но вполне возможно, эта библиотека и лучше умеет работать с хештегами, это просто если исходить из примера, который уже есть

[~[*(O.O)*]~]

Блин, что это я.

Да. Вот в этом коде не въезжаю, что происходит в итоге.
Вот тут сис заставил код замолчать и искать все. И, когда я его запускаю в пауэр шелле, мне выскакивают кракозябры, которые, подозреваю, хештег по-русски, а потом пустые твиты, если они по-русски. Я понимаю, что или нужно менять параметры в json.loads(data), или в принте назад на decode("utf8", "ignore")?

Спасибо еще раз ><'

# modules
import tweepy
import json
import csv
import urllib

import sys
# sys.setdefaultencoding() does not exist, here!
reload(sys) # Reload does the trick!
sys.setdefaultencoding('UTF8')

# security keys
import Support.twitter_keys
reload(Support.twitter_keys)
from Support.twitter_keys import consumer_key, consumer_secret, access_key, access_secret

accountvar = "шекспира" #Search query goes here
outputfilecsv = accountvar+"_stream.csv"
fc = csv.writer(open(outputfilecsv, 'wb'))
fc.writerow(["created_at","screen_name","tweet_text","time_zone"])

# This is the listener, resposible for receiving data
class StdOutListener(tweepy.StreamListener):
def on_data(self, data):
# Twitter returns data in JSON format - we need to decode it first

decoded = json.loads(data)
try:
print decoded['entities']['media'][0]['media_url']
link = decoded['entities']['media'][0]['media_url']
filename = link.split('/')[-1]
urllib.urlretrieve(decoded['entities']['media'][0]['media_url'],filename)

for media in decoded['extended_entities']['media'][0]['video_info']['variants']:
if 832000 in media.values():
link = media['url']
filename = link.split('/')[-1]
urllib.urlretrieve(media['url'],filename)


except (NameError, KeyError,AttributeError):
#we dont want to have any entries without the media_url so lets do nothing
pass


print '%s @%s: %s %s\n' % (decoded['created_at'],decoded['user']['screen_name'],decoded['text'].encode('ascii', 'ignore'),decoded['user']['time_zone'])
fc.writerow([decoded['created_at'],decoded['user']['screen_name'],decoded['text'].encode('ascii', 'ignore'),decoded['user']['time_zone']])

#got media_url - means add it to the output

# Also, we convert UTF-8 to ASCII ignoring all bad characters sent by users

#print ''
return True

def on_error(self, status):
print status

if __name__ == '__main__':
l = StdOutListener()
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_key, access_secret)

print "Showing all new tweets for %s"%accountvar


stream = tweepy.Stream(auth, l)
stream.filter(track=[accountvar])

[Reflendey]

Все-таки код лучше совать под

[CODE]вот сюда

[/CODE].

Если честно, сейчас я уже не понимаю, что от кода ожидается и в чем именно с ним проблема.
powershell скорее всего использует cp1251.

Если предположить, что данные приходят в utf8, а их надо в cp1251 вывести, то можно просто везде сделать

some_str.decode('utf8').encode('cp1251')

Если это не поиожет, то можно скоировать крякозябры в www.artlebedev.ru/tools/decoder/ или www.online-decoder.com/ru чтобы определить какая кодировка на самом деле, а какая использовалась для вывода.

sys соответственно в такой ситуации можно не трогать. (хотя теоретически указание там utf8 должно было помочь).

Игнорить ошибки смысла нет, так как

encode('ascii', 'ignore')

Фактически означает "проигнорь все не ascii символы" (то есть кириллицу в даннои случае)

[~[*(O.O)*]~]

'это ошибка, которая выползает через полминуты молчания. с английскими хештегами все ок, качаются себе

Showing all new tweets for москве
Traceback (most recent call last):
File "scrape-moskve-ru.py", line 87, in
stream.filter(track=[accountvar])
File "C:\Anaconda\lib\site-packages\tweepy\streaming.py", line 445, in filter
self._start(async)
File "C:\Anaconda\lib\site-packages\tweepy\streaming.py", line 361, in _start
self._run()
File "C:\Anaconda\lib\site-packages\tweepy\streaming.py", line 294, in _run
raise exception
UnicodeEncodeError: 'charmap' codec can't encode characters in position 45-46: character maps to

[Reflendey]

Уж не знаю откуда, но это cp437.

Соответственно код

print "Showing all new tweets for %s"%accountvar.encode('cp437')

должен сработать

Можно за ним еще decode('utf8') приписать, ну или 'cp1251'. Т.к. иначе используется юникод, и возможно кто-то ожидает, что он будет закодирован в какой-то кодировке, но судя по моим экспериментам локально должно быть без этого.
И аналогичное там где сейчас ignore.

еще есть вариант поставть mingw bash и запускать из под него python, там всегда будет utf8 и скорее всего не будет никаких проблем с кодировкой.

Я например просто удалил все эти декодирования с игнором и из обычного юниксового терминала все ок

Showing all new tweets for шекспира
Tue May 30 23:27:32 +0000 2017 @Vlad_Vovanchik: Это какой-то позор...призываю бойкотировать Первый канал. https://t.co/i9GHX02mPJ None

Tue May 30 23:31:34 +0000 2017 @19natela: RT @LavrovMuesli: Твою ж налево...
Да, это родители того самого маленького любителя Шекспира в студии "Пусть говорят".
Нас ждёт новая…  None

[~[*(O.O)*]~]

спасибо! удалить декодирования помогло ))