Morgenstern saw some crazy and huge python process in this week. The PID has about 2GB of ram! Yeap. Something’s wrong. Well… no more.
Estou realmente empenhado no projeto VCNews (apelido). Esta’ muito interessante desenvolver esse projeto, a quantidade de informacao colida e manipulada e’ realmente grande. Nao estamos apenas lidando com Twitter mais. E so’ o Twitter gera muita, mas muita informacao para ser manipulada. O que e’ muito bacana, trabalhar em algo que tem ser performatico.
E para isso funcionar a plataforma (Universe) teve de ser melhorada, o que foi muito bom. Podemos contar agora com Threadings melhoradas e com auto-balanceamento de carga.
UDB tambem foi melhorado. Para resumir, ele cria uma lista de instrucoes para dar ao banco de dados que ele esta’ conectado, por exemplo o MySQL (o que usamos no VCNews), e cria um “mock” para alguma busca ou qualquer outra instrucao que devera’ trazer aquele dado. Com isso usamos menos carga na rede com o banco de dados e ao mesmo tempo, fazer um insert ou select para cada view/acao nao me parece muito inteligente se podemos deixar em um processo mais rapido.
Sou a favor de performance sempre no maximo possivel. Para mim performance nao e’ apenas ter o resultado mais rapido, mas tambem usar menos recursos, ou seja… Economizar.
Menos uso da CPU, faz com que adiante a entrada do modo ocioso, salvando ai alguns watts. Imagine isso em uma grande escala. Voce esta’ salvando tempo e dinheiro. Ate’ mesmo em um notebook. Esses “watts” economizados serao a diferenca entre acabar a bateria em 4 horas ou em 4 horas e 30 minutos, por exemplo.
Algumas coisas que gosto de comentar sobre isso:
Um cpu ocioso consome em media 1 watt em media, claro depende do fabricante/modelo, em carga total leva uma media de 34watts e em usa meia carga tem uma media de 24watts. Se voce levar para calcular algum processo em 1 segundo com potencia maxima do cpu voce ira’ usar 34watts e se fizer em metade da carga levara’ o dobro de tempo, ou seja… 2 x 24 = 48watts.
Gostou do assunto? Um site que recomendo e’ http://www.lesswatts.org
Dei uma olhada no YQL da Yahoo! para colocar como um recurso do Universe. Ja’ existia uma API em Python para esse recurso, porem nao gostei da solucao e coloquei fiz uma do zero para nosso Universe. Gostei mais da solucao que fiz porque temos padroes na saida, entao li a documentacao inteira do Meme (primeiro da minha lista) e fiz esquemas e objetos para a saida de cada resultado possivel. Tornando o trabalho de manipulacao dos dados mais facil do que apenas um parser de XML. Tambem fiz uma boa saida para nao utilizar todo o limite oferecido pela YQL foi o drive direto em UDB ou XML. Antes de finalizar o modulo quero colocar um cache utilizando a saida do drive. Deixar o mais rapido possivel a consulta e diminuir o uso de HTTP no server.
Tambem tenho de colocar o Oauth para funcionar neste cara. Vi que a solucao python-yql usa o modulo python-oauth, como ja’ temos um modulo no Universe, vou ver o que posso fazer com o nosso e porque nao, se tiver faltando recurso, melhorar ele.
Resumo:
Para quem tem acesso: universe.Apps.Yahoo.YQL
Depois de um bom tempo sem mudar a API do Twitter, tivemos de fazer algumas modificacoes nela. Vamos la’…
O que achei bacana e’ reaproveitar a saida em diferentes adapters. Ja’ que podemos manipular diretamente na saida dos metodos, podemos aplicar diversos estados e layouts para a mesma “consulta”. Pelo o que testei conseguimos cair em ate’ 5% o consumo de recurso.
Tenho algumas ideias novas para o Uprofile e quero implementar ao longo de amanha. Melhorar o sistemas de msgs e como a API fala com o web-service.
Estou a alguns dias sem me conectar a internet, e fazia tempo que nao era tao produtivo como esses dias o tempo perdido com pessoas em jabber/xmpp/gtalk e irc e’ muito grande. Sem falar que elas atrapalham a concentracao, suas perguntas sobre questoes de programacao e universo unix me tiram totalmente do que estou fazendo, adoro resolver problemas, todo problema tem de ser visto, sempre. E’ com eles que voce consegue realmente aplicar o seu conhecimento e ganhar mais. E os seus links ao youtube e noticias sao um chamariz a parar de desenvolver. Com isso estou pensando seriamente em deixar para la’ IMs/irc. Vou fazer um teste sobre isso, talvez ficar sem IMs/irc por uma semana ou 15 dias. E e’ com isso que vejo que o simples email e’ muito bom, quando tenho realmente tempo entro e utilizo alguns minutos para responder perguntas de amigos ou entao para escrever para a lista mitgnu =)
Com algumas mudancas que aconteceram nesse final de ano, venho me concentrando 100% a MitGNU agora, empresa que sou co-founder e vejo que tem grande futuro. O que temos de qualidade de pessoal e’ muito forte. Mas nem tudo e’ alegria. Tivemos um “atraso”(?) com o ShakeIt. Nao considero atraso. Bem…
O projeto ShakeIt nasceu de uma grande ideia do nosso CEO Rafael “HULK” Almeida. Nao irei falar o que e’ o projeto ShakeIt, mas que erramos em dar um deadline para ele. No caso o co-founder Thiago Tiveron escolheu a data por ser uma data legal, 10/01/10 (100110). Fui de acordo. Poderiamos lancar com certeza uma versao beta do projeto para um uso e pesquisa do que poderiamos estar com duvidas sobre o plano de negocio.
Achei super legal a ideia do Tiveron de colocar um deadline e correr atras de uma versao usavel ate’ aquele ponto. Verdade o meu empenho na tecnologia que o ShakeIt vai usar foi aumentado diversas vezes. Ainda mais quando fiz um countdown para (as) minha(s) workstation. Toda vez que meu olho batia no canto da tela via o tempo passar realmente. Era por varias vezes motivo de justificar a minha ambicao por nao cair no sono e codificar nesse tempo que para meu ponto de vista e’ um certo desperdicio. Resultado comecei a “aproveitar” melhor meu tempo. Comecei a dormir exatas 4 horas por dia no maximo. Quando me acostumei consegui fazer melhor, dormir apenas na manha, sim dormia das 07:00am ate’ 10/10:30am, e em alguns dias. Escolhi eles sabado, segunda e quarta. Demorei cerca que quase 10 dias para me acostumar. Mas deu certo. Nao posso falar que era 100% produtivo como costumo ser, mas se for colocar na ponta do lapis (? colocar na planilha) eu tive entre 75% a 95% do aproveitamento, isso de acordo com minha/o/o planilha/trac/redmine. Com isso tive mais horas de desenvolvimento e dedicacao a novas tecnologias que criamos na MitGNU.
E voltando a ideia do Tiveron, perfeita. So’ tem um problema, eu. Tenho um grande problema em falar que algo esta’ pronto, quando esta’ pronto? Quando esta’ perfeito? Nao quero algo bom, quero algo perfeito que me orgulhe de ter criado e orgulho em usar e fazer com que os outros usem. Passava dias inteiros melhorando algo que muitos falavam que estava perfeito. Mas sempre tem um X para melhorar. Errei nisso. Nao sou uma pessoa de deadlines. Sou uma pessoa que adota a versao de “estara’ pronto quando ficar pronto”. Por isso nao considero um atraso nosso ao ShakeIt nao ter uma versao beta para todos no dia do deadline. Com esse pequeno “atraso” aproveitei e melhorei/refiz varios objetivos no ShakeIt nesses dias sem internet.
Ajustei varias questoes no Universe, primeiro de tudo refiz o modulo de distribuicao de processamento. Agora podemos distribuir os processos em diversas maquinas de um modo facil. Tudo usando a mesma lib que criei em 2007. Todo processo de melhoramento de codigo e aplicar novos recursos foram no Python. Mas quero em um futuro proximo colocar a mao na lib denovo.
Outro ponto bacana foi melhorar o core do Universe. Agora temos um novo recurso de quando aquele modulo/objeto nao foi localizado ou gerou um erro, nosso core procura a ultima versao que aquele processo estava “certo” e refaz o processamento usando aquele codigo. Nao estou muito certo se ira’ ser util realmente, mas no caso imagino um sistema sendo atualizado em varias maquinas, quero que cada maquina (ponto de processamento) tenha uma copia do aplicativo, assim quando um processo gerar um erro, essa demanda ira’ passar para a maquina a frente dela, ate’ chegar em uma maquina que o resultado seja positivo, dai sim retornando a quem quis o processo e caminhar dai para frente normalmente. Nao tenho nome para esse recurso. Mas se for bem implementado, daqui a algum tempo nao teriamos mais nos preocupar em atualizar tudo de uma vez ou ter as quedas de sistema sem usar slave. Deixarei esse recurso como unstable e nao ira’ para o core da pre-stable. Quero lancar uma nova stable quanto antes para me focar mais em outros produtos.
Estou bastante contente com a evolucao do SF. Temos varios novos recursos como download-key configurando a velocidade. Essa key permite que apenas o numero de pessoas possam usar aquela chave e quantos mb/s poderam abaixar. Quero melhorar o sistema de log do SF.
Alem de melhorar o sistema de log do SF, queria criar um recurso de quando subir um arquivo para o storage um sistema de “alerta”/msg qualquer no twitter, quero aplicar isso justamente para o UPA. Assim o pessoal que tiver cadastro no UPA podera’ “espalhar” seus arquivos com maior facilidade.
Estive revendo o backend do VCNews, quero colocar ele para frente. Temos varios recursos do projeto final ja’. Teriamos de terminar o processo de app e front-end. Que estao praticamente a 0% do desenvolvimento.
Para mim, o melhor ambiente para desenvolver e’ usando BSD (FreeBSD). Ate’ hoje nao achei algo melhor.
