Morgenstern saw some crazy and huge python process in this week. The PID has about 2GB of ram! Yeap. Something’s wrong. Well… no more.

• threads with new setup. If some thread don’t find one node for  process, will just self divide in little threads and runs in the place.
• widget “tiny url”
• widget (bigGeneric)
• new home (new menu, old footer)
• api for create tiny url
• api for open tiny url
• better node’s control
• better task list

Estou realmente empenhado no projeto VCNews (apelido). Esta’ muito interessante desenvolver esse projeto, a quantidade de informacao colida e manipulada e’ realmente grande. Nao estamos apenas lidando com Twitter mais. E so’ o Twitter gera muita, mas muita informacao para ser manipulada. O que e’ muito bacana, trabalhar em algo que tem ser performatico.

• drive do twitter 100% ok com as novas regras da api deles
• manipulacao de usuarios, status e tags do twitter melhorada
• gerenciamento interno de tags e links funcionando
• agrupamento de instrucoes no drive de banco. Toda operacao feita no VCNews nao ira’ na mesma hora ao banco de dados.  Recurso novo do UDB. Depois falo sobre isso.
• comecei a manipulacao de noticias como Yahoo! News

E para isso funcionar a plataforma (Universe) teve de ser melhorada, o que foi muito bom. Podemos contar agora com Threadings melhoradas e com auto-balanceamento de carga.

UDB tambem foi melhorado. Para resumir, ele cria uma lista de instrucoes para dar ao banco de dados que ele esta’ conectado, por exemplo o MySQL (o que usamos no VCNews), e cria um “mock” para alguma busca ou qualquer outra instrucao que devera’ trazer aquele dado. Com isso usamos menos carga na rede com o banco de dados e ao mesmo tempo, fazer um insert ou select para cada view/acao nao me parece muito inteligente se podemos deixar em um processo mais rapido.

Performance

Sou a favor de performance sempre no maximo possivel. Para mim performance nao e’ apenas ter o resultado mais rapido, mas tambem usar menos recursos, ou seja… Economizar.

Menos uso da CPU, faz com que adiante a entrada do modo ocioso, salvando ai alguns watts. Imagine isso em uma grande escala. Voce esta’ salvando tempo e dinheiro. Ate’ mesmo em um notebook. Esses “watts” economizados serao a diferenca entre acabar a bateria em 4 horas ou em 4 horas e 30 minutos, por exemplo.

Algumas coisas que gosto de comentar sobre isso:

• Evitar polling. Serio pessoal. Polling e’ ruim. OK, existem algumas coisas que com polling e’ “melhor” de se fazer. Porem o abuso desta tecnica e’ realmente horrivel para performance. Tente fazer algo com msgs. Um exemplo de software que abusa ou abusava deste recurso, o gksu. Ele chega a checar mil vezes por segundo se existem dados em um pipe. Meio exagerado nao e’?
• Agrupar timers sempre que possivel e usar um para  realizar varias tarefas. Nunca um timer para cada status ou alguma coisa que voce esta’ usando. Assim voce economiza em chamadas no cpu deixando o ocioso por mais tempo.
• Pensar em usar linguagens de alto nivel. Elas sao mais rapidas no desenvolvimento, porem a performance e’ muito abaixo de uma linguagem como C. Nao estou de olho no “quadro de luz” de cada linguagem script. Porem prefira Python a Ruby. Java e Visual C#… O que falar destes. Ultima vez que dei uma olhada, as duas ficavam bem parecidas. E gastavam mais que os testes usando python e ruby juntos.

Um cpu ocioso consome em media 1 watt em media, claro depende do fabricante/modelo,  em carga total leva uma media de 34watts e em usa meia carga tem uma media de 24watts. Se voce levar para calcular algum processo em 1 segundo com potencia maxima do cpu voce ira’ usar 34watts e se fizer em metade da carga levara’ o dobro de tempo, ou seja… 2 x 24 = 48watts.

Gostou do assunto? Um site que recomendo e’ http://www.lesswatts.org

Dei uma olhada no YQL da Yahoo! para colocar como um recurso do Universe. Ja’ existia uma API em Python para esse recurso, porem nao gostei da solucao e coloquei fiz uma do zero para nosso Universe. Gostei mais da solucao que fiz porque temos padroes na saida, entao li a documentacao inteira do Meme (primeiro da minha lista) e fiz esquemas e objetos para a saida de cada resultado possivel. Tornando o trabalho de manipulacao dos dados mais facil do que apenas um parser de XML. Tambem fiz uma boa saida para nao utilizar todo o limite oferecido pela YQL foi o drive direto em UDB ou XML. Antes de finalizar o modulo quero colocar um cache utilizando a saida do drive. Deixar o mais rapido possivel a consulta e diminuir o uso de HTTP no server.

Tambem tenho de colocar o Oauth para funcionar neste cara. Vi que a solucao python-yql usa o modulo python-oauth, como ja’ temos um modulo no Universe, vou ver o que posso fazer com o nosso e porque nao, se tiver faltando recurso, melhorar ele.

Resumo:

• acesso rapido e facil da YQL usando um Obj
• retorno simples de todos os resultados possiveis do Meme

Para quem tem acesso: universe.Apps.Yahoo.YQL

Mmm… Faz um tempo que nao dou um upgrade no Universe:

• Y! search, coloquei a api deles para funcionar no Universe
• feedparser, tambem esta’ disponivel nos Parses.lib

Depois de um bom tempo sem mudar a API do Twitter, tivemos de fazer algumas modificacoes nela. Vamos la’…

• saiu de dominio apenas da Engine VCnews e veio para base do Universe
• ganhou manipulacoes via regular expressions do conteudo
• possui ja’ um drive para escrever em sqlite, mysql e xml (como vem do twitter) para nao abusar do twitter
• temos objetos: Status, Mentions, User em stable e List em unstable
• authentication ok

O que achei bacana e’ reaproveitar a saida em diferentes adapters. Ja’ que podemos manipular diretamente na saida dos metodos, podemos aplicar diversos estados e layouts para a mesma “consulta”. Pelo o que testei conseguimos cair em ate’ 5% o consumo de recurso.

ShakeIt

• scripts utilizando o novo modelo (supernova)
• objetos tambem utilizando novo modelo

Uprofile

• scripts usando supernova
• objetos usando supernova
• API nova OK

Tenho algumas ideias novas para o Uprofile e  quero implementar ao longo de amanha. Melhorar o sistemas de msgs e como a API fala com o web-service.

Sem internet

Estou a alguns dias sem me conectar a internet, e fazia tempo que nao era tao produtivo como esses dias o tempo perdido com pessoas em jabber/xmpp/gtalk e irc e’ muito grande. Sem falar que elas atrapalham a concentracao, suas perguntas sobre questoes de programacao e universo unix me tiram totalmente do que estou fazendo, adoro resolver problemas, todo problema tem de ser visto, sempre. E’ com eles que voce consegue realmente aplicar o seu conhecimento e ganhar mais. E os seus links ao youtube e noticias sao um chamariz a parar de desenvolver. Com isso estou pensando seriamente em deixar para la’ IMs/irc. Vou fazer um teste sobre isso, talvez ficar sem IMs/irc por uma semana ou 15 dias. E e’ com isso que vejo que o simples email e’ muito bom, quando tenho realmente tempo entro e utilizo alguns minutos para responder perguntas de amigos ou entao para escrever para a lista mitgnu =)

MitGNU

Com algumas mudancas que aconteceram nesse final de ano, venho me concentrando 100% a MitGNU agora, empresa que sou co-founder e vejo que tem grande futuro. O que temos de qualidade de pessoal e’ muito forte. Mas nem tudo e’ alegria. Tivemos um “atraso”(?) com o ShakeIt. Nao considero atraso. Bem…

ShakeIt

O projeto ShakeIt nasceu de uma grande ideia do nosso CEO Rafael “HULK” Almeida. Nao irei falar o que e’ o projeto ShakeIt, mas que erramos em dar um deadline para ele. No caso o co-founder Thiago Tiveron escolheu a data por ser uma data legal, 10/01/10 (100110). Fui de acordo. Poderiamos lancar com certeza uma versao beta do projeto para um uso e pesquisa do que poderiamos estar com duvidas sobre o plano de negocio.

Achei super legal a ideia do Tiveron de colocar um deadline e correr atras de uma versao usavel ate’ aquele ponto. Verdade o meu empenho na tecnologia que o ShakeIt vai usar foi aumentado diversas vezes. Ainda mais quando fiz um countdown para (as) minha(s) workstation. Toda vez que meu olho batia no canto da tela via o tempo passar realmente. Era por varias vezes motivo de justificar a minha ambicao por nao cair no sono e codificar nesse tempo que para meu ponto de vista e’ um certo desperdicio. Resultado comecei a “aproveitar” melhor meu tempo. Comecei a dormir exatas 4 horas por dia no maximo. Quando me acostumei consegui fazer melhor, dormir apenas na manha, sim dormia das 07:00am ate’ 10/10:30am, e em alguns dias. Escolhi eles sabado, segunda e quarta. Demorei cerca que quase 10 dias para me acostumar. Mas deu certo. Nao posso falar que era 100% produtivo como costumo ser, mas se for colocar na ponta do lapis (? colocar na planilha) eu tive entre 75% a 95% do aproveitamento, isso de acordo com minha/o/o planilha/trac/redmine. Com isso tive mais horas de desenvolvimento e dedicacao a novas tecnologias que criamos na MitGNU.

E voltando a ideia do Tiveron, perfeita. So’ tem um problema, eu. Tenho um grande problema em falar que algo esta’ pronto, quando esta’ pronto? Quando esta’ perfeito? Nao quero algo bom, quero algo perfeito que me orgulhe de ter criado e orgulho em usar e fazer com que os outros usem. Passava dias inteiros melhorando algo que muitos falavam que estava perfeito. Mas sempre tem um X para melhorar. Errei nisso. Nao sou uma pessoa de deadlines. Sou uma pessoa que adota a versao de “estara’ pronto quando ficar pronto”. Por isso nao considero um atraso nosso ao ShakeIt nao ter uma versao beta para todos no dia do deadline. Com esse pequeno “atraso” aproveitei e melhorei/refiz varios objetivos no ShakeIt nesses dias sem internet.

• templates usando dogtag e nao mais OCGI
• tudo esta’ em modulos
• apliquei recurso de concorencia no ShakeIt (ver universe)
• algoritimos usando novo “metodo” de threads e distribuicao
• pages usando templates-dogtag

Universe

Ajustei varias questoes no Universe, primeiro de tudo refiz o modulo de distribuicao de processamento. Agora podemos distribuir os processos em diversas maquinas de um modo facil. Tudo usando a mesma lib que criei em 2007. Todo processo de melhoramento de codigo e aplicar novos recursos foram no Python. Mas quero em um futuro proximo colocar a mao na lib denovo.

Outro ponto bacana foi melhorar o core do Universe. Agora temos um novo recurso de quando aquele modulo/objeto nao foi localizado ou gerou um erro, nosso core procura a ultima versao que aquele processo estava “certo” e refaz o processamento usando aquele codigo. Nao estou muito certo se ira’ ser util realmente, mas no caso imagino um sistema sendo atualizado em varias maquinas, quero que cada maquina (ponto de processamento) tenha uma copia do aplicativo, assim quando um processo gerar um erro, essa demanda ira’ passar para a maquina a frente dela, ate’ chegar em uma maquina que o resultado seja positivo, dai sim retornando a quem quis o processo e caminhar dai para frente normalmente. Nao tenho nome para esse recurso. Mas se for bem implementado, daqui a algum tempo nao teriamos mais nos preocupar em atualizar tudo de uma vez ou ter as quedas de sistema sem usar slave. Deixarei esse recurso como unstable e nao ira’ para o core da pre-stable. Quero lancar uma nova stable quanto antes para me focar mais em outros produtos.

• nova versao pre-stable
• dogtags totalmente em uso, irei tirar o OCGI quando todos os produtos estiverem usando dogtag
• leitor de feed de wordpress (WPReader)

SF

Estou bastante contente com a evolucao do SF. Temos varios novos recursos como download-key configurando a velocidade. Essa key permite que apenas o numero de pessoas possam usar aquela chave e quantos mb/s poderam abaixar. Quero melhorar o sistema de log do SF.

Alem de melhorar o sistema de log do SF, queria criar um recurso de quando subir um arquivo para o storage um sistema de “alerta”/msg qualquer no twitter, quero aplicar isso justamente para o UPA. Assim o pessoal que tiver cadastro no UPA podera’ “espalhar” seus arquivos com maior facilidade.

VCNews

Estive revendo o backend do VCNews, quero colocar ele para frente. Temos varios recursos do projeto final ja’. Teriamos de terminar o processo de app e front-end. Que estao praticamente a 0% do desenvolvimento.

Workstations

• viper — nova workstation
• dei um update na darthvader e earl para a versao 8.0 — FreeBSD Press Release

Para mim, o melhor ambiente para desenvolver e’ usando BSD (FreeBSD). Ate’ hoje nao achei algo melhor.

Universe

• dogtag agora aceita listas de varios tipos de objetos para criar a tag

SF

Server

• create
• get
• makeKey — metodo para criar uma chave unica para o server
• login
• lock’s stuff — agora o sf tem metodos para dar um lockdown em um server, impedindo de ele gravar mais dados
• check methods — name/lock

App

• login
• get
• create
• makeKey — outra chave unica para cada app
• check methods — name/active

File

• change
• create
• delete
• get
• getAll
• timestamp — transforma datetime em timestamp

Universe

• novos metodos de tratar sql injection

SF

• Achei um modo mais elegante e melhorado de fazer o SF, vou aplicar. Comecei ja’ a fazer a mudanca.
• SF com tag rc1 ja’.

SF

• app scripts
  • check name
  • login
  • get
  • create
• app bridge
  • login
• IO scripts
  • create
  • delete
  • read
• file scripts
  • create
  • delete
  • get
  • getAll
  • makePath

ShakeIt

• usando SF’s API
• usando SI’s API

UPA

Coloquei parte do meu .plan no Brainstorm do UPA (uploaddearquivos.com.br) para novas modificacoes.