Tag Archives: mysql

VCNews e Performance

Posted by on 29/06/2010 1 comment

Estou real­mente empen­hado no pro­jeto VCNews (apelido). Esta’ muito inter­es­sante desen­volver esse pro­jeto, a quan­ti­dade de infor­ma­cao col­ida e manip­u­lada e’ real­mente grande. Nao esta­mos ape­nas lidando com Twit­ter mais. E so’ o Twit­ter gera muita, mas muita infor­ma­cao para ser manip­u­lada. O que e’ muito bacana, tra­bal­har em algo que tem ser performatico.

  • drive do twit­ter 100% ok com as novas regras da api deles
  • manip­u­la­cao de usuar­ios, sta­tus e tags do twit­ter melhorada
  • geren­ci­a­mento interno de tags e links funcionando
  • agru­pa­mento de instru­coes no drive de banco. Toda oper­a­cao feita no VCNews nao ira’ na mesma hora ao banco de dados.  Recurso novo do UDB. Depois falo sobre isso.
  • come­cei a manip­u­la­cao de noti­cias como Yahoo! News

E para isso fun­cionar a plataforma (Uni­verse) teve de ser mel­ho­rada, o que foi muito bom. Podemos con­tar agora com Thread­ings mel­ho­radas e com auto-balanceamento de carga.

UDB tambem foi mel­ho­rado. Para resumir, ele cria uma lista de instru­coes para dar ao banco de dados que ele esta’ conec­tado, por exem­plo o MySQL (o que usamos no VCNews), e cria um “mock” para alguma busca ou qual­quer outra instru­cao que dev­era’ trazer aquele dado. Com isso usamos menos carga na rede com o banco de dados e ao mesmo tempo, fazer um insert ou select para cada view/acao nao me parece muito inteligente se podemos deixar em um processo mais rapido.

Per­for­mance

Sou a favor de per­for­mance sem­pre no max­imo pos­sivel. Para mim per­for­mance nao e’ ape­nas ter o resul­tado mais rapido, mas tambem usar menos recur­sos, ou seja… Economizar.

Menos uso da CPU, faz com que adi­ante a entrada do modo ocioso, sal­vando ai alguns watts. Imag­ine isso em uma grande escala. Voce esta’ sal­vando tempo e din­heiro. Ate’ mesmo em um note­book. Esses “watts” econ­o­miza­dos serao a difer­enca entre acabar a bate­ria em 4 horas ou em 4 horas e 30 min­u­tos, por exemplo.

Algu­mas coisas que gosto de comen­tar sobre isso:

  • Evi­tar polling. Serio pes­soal. Polling e’ ruim. OK, exis­tem algu­mas coisas que com polling e’ “mel­hor” de se fazer. Porem o abuso desta tec­nica e’ real­mente hor­rivel para per­for­mance. Tente fazer algo com msgs. Um exem­plo de soft­ware que abusa ou abusava deste recurso, o gksu. Ele chega a checar mil vezes por segundo se exis­tem dados em um pipe. Meio exager­ado nao e’?
  • Agru­par timers sem­pre que pos­sivel e usar um para  realizar varias tare­fas. Nunca um timer para cada sta­tus ou alguma coisa que voce esta’ usando. Assim voce econ­o­miza em chamadas no cpu deixando o ocioso por mais tempo.
  • Pen­sar em usar lin­gua­gens de alto nivel. Elas sao mais rap­i­das no desen­volvi­mento, porem a per­for­mance e’ muito abaixo de uma lin­guagem como C. Nao estou de olho no “quadro de luz” de cada lin­guagem script. Porem pre­fira Python a Ruby. Java e Visual C#… O que falar destes. Ultima vez que dei uma olhada, as duas ficavam bem pare­ci­das. E gas­tavam mais que os testes usando python e ruby juntos.

Um cpu ocioso con­some em media 1 watt em media, claro depende do fabricante/modelo,  em carga total leva uma media de 34watts e em usa meia carga tem uma media de 24watts. Se voce levar para cal­cu­lar algum processo em 1 segundo com poten­cia max­ima do cpu voce ira’ usar 34watts e se fizer em metade da carga levara’ o dobro de tempo, ou seja… 2 x 24 = 48watts.

Gos­tou do assunto? Um site que recomendo e’ http://www.lesswatts.org

Changes…

Posted by on 08/06/2010 No comments

Depois de algum tempo pen­sando vi que o mel­hor a fazer e’ mudar. Pois vamos la’:

O que entra:

dog­tags

A nova engine para gerar HTML usando obje­tos. Mais rap­ida, sim­ples e de menor tamanho. Sim­ples­mente faz tudo o que a OCGI fazia so’ que melhor.

UDB

O nosso drive se tornou algo real­mente usavel. Com os testes que real­izei esses dias eu vejo que esta’ mel­hor que o padrao antigo. UDB agora fica como padrao para “IO” em Post­greSQL e MySQL.

VCNews

O VCNews e’ um pro­jeto para ter um certo con­t­role nas midias dig­i­tais. A Engine esta’ com­pleta para o Twit­ter e Meme (Yahoo!). Falta alguns out­ros mod­u­los que ja’ estao em linha de pro­d­u­cao como Yahoo! News, Google Search e Flickr. Face­book e Orkut entram na lista porem nao sei se e’ de grande val­i­dade a entrada do Orkut. Face­book eu gosto e tem muito recurso. Ja’ o Orkut acho um pedaco de soft­ware que nao deu certo nunca, me des­culpem Orkuteiros. Mas desde sem­pre aquilo foi lento e sem uso pratico.

Com sua Engine pronta, digo que a sua API tambem esta’ pronta para o Uni­verse! Podemos usar o Twit­ter e o Meme dire­ta­mente do VCNews.

PyQt4

Agora podemos ter a saida em PyQt4. As UI sao ger­adas pelo pyuic. As saidas, threads e oper­a­coes ficam no Universe.

O que sai:

OCGI

Sim­ples­mente nao faz mais sentindo ter ele quando o sta­ble e o usavel com os novos padroes (HTML5 e cia). Depois de alguns anos vejo que a manu­ten­cao da engine OCGI nao faz sentindo. O uso de obje­tos para pro­duzir o front-end e’ otimo, porem a manu­ten­cao dos padroes usa­dos e’ muito maior nessa solucao.

DB

O drive que usava­mos para MySQL esta’ sim­ples­mente usando muito recurso para oper­a­coes grandes.

API Twit­ter

Ja’ que o VCNews entrou e esta’ sta­ble, nao vejo o porque deixar essa API na plataforma. Nao vamos dar manu­ten­cao direta nela. E quando tiver vai sair como sta­ble primeiro para a VCNews’ Engine. Logo nao e’ mais necessaria.

==

E tambem… Aban­donei o Jabber/XMPP/Gtalk. Nao vejo mais o porque usar. Nao me ajuda em nada, ape­nas atra­balha e per­tuba o desen­volvi­mento. Pre­firo o IRC. Quem ainda usa pode me achar na rede FreeN­ode, canal #mit­gnu ou pro­cure por umge­her. Para quem nao usa, mande email mesmo que respon­derei assim que conseguir.

WM e outros

Posted by on 18/11/2009 1 comment

Awe­some

Voltei a usar o AWESOME, sem duvi­das, o mel­hor de todos win­dow man­agers que exis­tem por ai. Bem talvez perca para o meu em alguns pon­tos =) (sim, ja’ fiz um win­dow man­ager do zero). Depois de certa cam­panha para eu parar de usar o Win­dow­maker (Tiveron esta’ lendo isso? Feliz?), voltei ao incrivel Awesome.

O que faz dele incrivel:

  • Very sta­ble, fast and small code­base and footprint;
  • First win­dow man­ager using asyn­chro­nous XCB library instead of the old syn­chro­nous Xlib: make awe­some less sub­ject to latency than many win­dow managers;
  • Very well doc­u­mented source code and API;
  • No mouse needed: every­thing can be per­formed with keyboard;
  • Real mul­ti­head sup­port (XRandR, Xin­erama or Zaphod mode) with per screen desk­tops (tags);
  • Imple­ment many Freedesk­top stan­dards: EWMH, XDG Base Direc­tory, XEm­bed, Desk­top Noti­fi­ca­tion, Sys­tem Tray;
  • Doesn’t dis­tin­guish between lay­ers: there is no float­ing or tiled layer;
  • Use tags instead of work­spaces: allow to place clients on sev­eral tags, and dis­play sev­eral tags at the same time;
  • A lot of Lua exten­sions to add fea­tures: dynamic tag­ging, wid­get feed­ing, tabs, layouts …;
  • D-Bus support;

Com ele tenho total con­t­role de tudo no meu Desk­top ape­nas usando o teclado. Bem outro ponto legal e’ que pratico o meu Lua.

Aterm

Tambem acabei voltando a usar o Aterm. Sem­pre gostei muito do Aterm, mas sem­pre acabava usando o Xterm ja’ que sem­pre encon­tro ele em qual­quer lugar.

Meu .Xde­faults para Aterm:

aterm*transparent:true
aterm*shading:40
aterm*foreground:Gray
aterm*scrollBar:false
aterm*saveLines:32767
aterm*font: -misc-fixed-medium-r-semicondensed--13-120-75-75-c-60-iso8859-1

Resul­tado do .Xde­faults esta’ no screen shot la’ em cima… =)

SI

Agora temos um recurso muito legal para quem ira’ uti­lizar a nuvem SI para deixar ima­gens padroes da sua app/site.

Si.sprite(['image1','image2','image3'])

Podemos criar um Sprite dinam­ico! Tenho de estu­dar alguns meto­dos para aproveitar ainda mais os espa­cos em branco deix­ado pela jun­cao das ima­gens e colo­car atribuicao de preferir sprite hor­i­zon­tal ou vertical.

Work­sta­tion

Novo lay­out da minha workstation:

  • colo­quei o Libretto 50ct de volta ao tra­balho rodando uma BNC para me deixar o max­imo pos­sivel online no #mit­gnu (freenode)
  • walker (eeepc900) rodando o pid­gin, skype, irssi e um cliente syn­ergy para ter um con­t­role facilitado
  • darth­vader rodando syn­ergy server e Universe
  • earl rodando var­ios ser­vices para minha rede local como Uni­verse, UDB, stg dos meus pro­je­tos, post­gresql, bit­tor­rent e get­stream (script meu para ripar radios online)
  • bajinger rodando sync server de meus documentos
  • sarabi servindo mysql