Morgenstern saw some crazy and huge python process in this week. The PID has about 2GB of ram! Yeap. Something’s wrong. Well… no more.
Estou realmente empenhado no projeto VCNews (apelido). Esta’ muito interessante desenvolver esse projeto, a quantidade de informacao colida e manipulada e’ realmente grande. Nao estamos apenas lidando com Twitter mais. E so’ o Twitter gera muita, mas muita informacao para ser manipulada. O que e’ muito bacana, trabalhar em algo que tem ser performatico.
E para isso funcionar a plataforma (Universe) teve de ser melhorada, o que foi muito bom. Podemos contar agora com Threadings melhoradas e com auto-balanceamento de carga.
UDB tambem foi melhorado. Para resumir, ele cria uma lista de instrucoes para dar ao banco de dados que ele esta’ conectado, por exemplo o MySQL (o que usamos no VCNews), e cria um “mock” para alguma busca ou qualquer outra instrucao que devera’ trazer aquele dado. Com isso usamos menos carga na rede com o banco de dados e ao mesmo tempo, fazer um insert ou select para cada view/acao nao me parece muito inteligente se podemos deixar em um processo mais rapido.
Sou a favor de performance sempre no maximo possivel. Para mim performance nao e’ apenas ter o resultado mais rapido, mas tambem usar menos recursos, ou seja… Economizar.
Menos uso da CPU, faz com que adiante a entrada do modo ocioso, salvando ai alguns watts. Imagine isso em uma grande escala. Voce esta’ salvando tempo e dinheiro. Ate’ mesmo em um notebook. Esses “watts” economizados serao a diferenca entre acabar a bateria em 4 horas ou em 4 horas e 30 minutos, por exemplo.
Algumas coisas que gosto de comentar sobre isso:
Um cpu ocioso consome em media 1 watt em media, claro depende do fabricante/modelo, em carga total leva uma media de 34watts e em usa meia carga tem uma media de 24watts. Se voce levar para calcular algum processo em 1 segundo com potencia maxima do cpu voce ira’ usar 34watts e se fizer em metade da carga levara’ o dobro de tempo, ou seja… 2 x 24 = 48watts.
Gostou do assunto? Um site que recomendo e’ http://www.lesswatts.org
Hoje foi um dia muito produtivo, fiz algumas mudancas no VCNews. Agora nao temos mais acesso via autenticacao basica, ja’ que dia 30 agora o pessoal do Twitter ira’ tirar esse recurso, ja’ mudei todo o sistema para OAuth. Usei uma lib chamada oauth2 para fazer a autenticacao. Gostei muito do projeto. Esta’ com varios casos de testes. O que realmente faltou foi uma documentacao melhor.
Bem, tirando o Objects.Twitter.Drive, temos o Objects.Twitter.Client. Ja’ fiz todas as mudancas para nao utilizar mais o Drive e atualizei os testes. Considero stable ja’.
Outra modificacao que vale a pena comentar foi a transferencia de todos os Objects para o seguinte padrao:
universeObject >> Object_core >> interface 1/2/3/4
Assim temos maior liberdade para modificar os objetos garantindo que nao ira’ causar nenhum erro no sistema.
==
Coloquei a maquina Viper para funcionar como terminal remoto usando o Windows 7 para essa tarefa. Com o dll que consegui, veja, consigo deixar varios users conectados/usando a maquina ao mesmo tempo. Gostei muito desta solucao para manipular o Internet Explorer 7 e 8 (IE6 pessoalmente nao dou suporte, nenhum, quem usa nao deveria estar na frente de um computador ou ate’ mesmo respirando, existe varias otimas opcoes como Opera, Firefox, Google Chrome, Safari, Dillo e ai vai…), melhor que deixar uma maquina virtual para fazer esse trabalho. Imagino que uma boa maquina como a Viper e’ (AMD Athlon 7750 Dual-Core Processor 2.70GHZ com 4GB de ram) fica otimo para 3 usuarios (fiz o teste conectando 3 users ao mesmo tempo via rede e um usando a maquina normalmente), colocar um workstation para essa tarefa em uma equipe e’ muito mais “barato” e simples que obrigar a equipe que ira’ fazer o front-end utilizar 2 ou mais maquinas virtuais.
Depois de algum tempo pensando vi que o melhor a fazer e’ mudar. Pois vamos la’:
O que entra:
A nova engine para gerar HTML usando objetos. Mais rapida, simples e de menor tamanho. Simplesmente faz tudo o que a OCGI fazia so’ que melhor.
O nosso drive se tornou algo realmente usavel. Com os testes que realizei esses dias eu vejo que esta’ melhor que o padrao antigo. UDB agora fica como padrao para “IO” em PostgreSQL e MySQL.
O VCNews e’ um projeto para ter um certo controle nas midias digitais. A Engine esta’ completa para o Twitter e Meme (Yahoo!). Falta alguns outros modulos que ja’ estao em linha de producao como Yahoo! News, Google Search e Flickr. Facebook e Orkut entram na lista porem nao sei se e’ de grande validade a entrada do Orkut. Facebook eu gosto e tem muito recurso. Ja’ o Orkut acho um pedaco de software que nao deu certo nunca, me desculpem Orkuteiros. Mas desde sempre aquilo foi lento e sem uso pratico.
Com sua Engine pronta, digo que a sua API tambem esta’ pronta para o Universe! Podemos usar o Twitter e o Meme diretamente do VCNews.
Agora podemos ter a saida em PyQt4. As UI sao geradas pelo pyuic. As saidas, threads e operacoes ficam no Universe.
O que sai:
Simplesmente nao faz mais sentindo ter ele quando o stable e o usavel com os novos padroes (HTML5 e cia). Depois de alguns anos vejo que a manutencao da engine OCGI nao faz sentindo. O uso de objetos para produzir o front-end e’ otimo, porem a manutencao dos padroes usados e’ muito maior nessa solucao.
O drive que usavamos para MySQL esta’ simplesmente usando muito recurso para operacoes grandes.
Ja’ que o VCNews entrou e esta’ stable, nao vejo o porque deixar essa API na plataforma. Nao vamos dar manutencao direta nela. E quando tiver vai sair como stable primeiro para a VCNews’ Engine. Logo nao e’ mais necessaria.
==
E tambem… Abandonei o Jabber/XMPP/Gtalk. Nao vejo mais o porque usar. Nao me ajuda em nada, apenas atrabalha e pertuba o desenvolvimento. Prefiro o IRC. Quem ainda usa pode me achar na rede FreeNode, canal #mitgnu ou procure por umgeher. Para quem nao usa, mande email mesmo que responderei assim que conseguir.
Depois de um bom tempo sem mudar a API do Twitter, tivemos de fazer algumas modificacoes nela. Vamos la’…
O que achei bacana e’ reaproveitar a saida em diferentes adapters. Ja’ que podemos manipular diretamente na saida dos metodos, podemos aplicar diversos estados e layouts para a mesma “consulta”. Pelo o que testei conseguimos cair em ate’ 5% o consumo de recurso.
Estou a alguns dias sem me conectar a internet, e fazia tempo que nao era tao produtivo como esses dias o tempo perdido com pessoas em jabber/xmpp/gtalk e irc e’ muito grande. Sem falar que elas atrapalham a concentracao, suas perguntas sobre questoes de programacao e universo unix me tiram totalmente do que estou fazendo, adoro resolver problemas, todo problema tem de ser visto, sempre. E’ com eles que voce consegue realmente aplicar o seu conhecimento e ganhar mais. E os seus links ao youtube e noticias sao um chamariz a parar de desenvolver. Com isso estou pensando seriamente em deixar para la’ IMs/irc. Vou fazer um teste sobre isso, talvez ficar sem IMs/irc por uma semana ou 15 dias. E e’ com isso que vejo que o simples email e’ muito bom, quando tenho realmente tempo entro e utilizo alguns minutos para responder perguntas de amigos ou entao para escrever para a lista mitgnu =)
Com algumas mudancas que aconteceram nesse final de ano, venho me concentrando 100% a MitGNU agora, empresa que sou co-founder e vejo que tem grande futuro. O que temos de qualidade de pessoal e’ muito forte. Mas nem tudo e’ alegria. Tivemos um “atraso”(?) com o ShakeIt. Nao considero atraso. Bem…
O projeto ShakeIt nasceu de uma grande ideia do nosso CEO Rafael “HULK” Almeida. Nao irei falar o que e’ o projeto ShakeIt, mas que erramos em dar um deadline para ele. No caso o co-founder Thiago Tiveron escolheu a data por ser uma data legal, 10/01/10 (100110). Fui de acordo. Poderiamos lancar com certeza uma versao beta do projeto para um uso e pesquisa do que poderiamos estar com duvidas sobre o plano de negocio.
Achei super legal a ideia do Tiveron de colocar um deadline e correr atras de uma versao usavel ate’ aquele ponto. Verdade o meu empenho na tecnologia que o ShakeIt vai usar foi aumentado diversas vezes. Ainda mais quando fiz um countdown para (as) minha(s) workstation. Toda vez que meu olho batia no canto da tela via o tempo passar realmente. Era por varias vezes motivo de justificar a minha ambicao por nao cair no sono e codificar nesse tempo que para meu ponto de vista e’ um certo desperdicio. Resultado comecei a “aproveitar” melhor meu tempo. Comecei a dormir exatas 4 horas por dia no maximo. Quando me acostumei consegui fazer melhor, dormir apenas na manha, sim dormia das 07:00am ate’ 10/10:30am, e em alguns dias. Escolhi eles sabado, segunda e quarta. Demorei cerca que quase 10 dias para me acostumar. Mas deu certo. Nao posso falar que era 100% produtivo como costumo ser, mas se for colocar na ponta do lapis (? colocar na planilha) eu tive entre 75% a 95% do aproveitamento, isso de acordo com minha/o/o planilha/trac/redmine. Com isso tive mais horas de desenvolvimento e dedicacao a novas tecnologias que criamos na MitGNU.
E voltando a ideia do Tiveron, perfeita. So’ tem um problema, eu. Tenho um grande problema em falar que algo esta’ pronto, quando esta’ pronto? Quando esta’ perfeito? Nao quero algo bom, quero algo perfeito que me orgulhe de ter criado e orgulho em usar e fazer com que os outros usem. Passava dias inteiros melhorando algo que muitos falavam que estava perfeito. Mas sempre tem um X para melhorar. Errei nisso. Nao sou uma pessoa de deadlines. Sou uma pessoa que adota a versao de “estara’ pronto quando ficar pronto”. Por isso nao considero um atraso nosso ao ShakeIt nao ter uma versao beta para todos no dia do deadline. Com esse pequeno “atraso” aproveitei e melhorei/refiz varios objetivos no ShakeIt nesses dias sem internet.
Ajustei varias questoes no Universe, primeiro de tudo refiz o modulo de distribuicao de processamento. Agora podemos distribuir os processos em diversas maquinas de um modo facil. Tudo usando a mesma lib que criei em 2007. Todo processo de melhoramento de codigo e aplicar novos recursos foram no Python. Mas quero em um futuro proximo colocar a mao na lib denovo.
Outro ponto bacana foi melhorar o core do Universe. Agora temos um novo recurso de quando aquele modulo/objeto nao foi localizado ou gerou um erro, nosso core procura a ultima versao que aquele processo estava “certo” e refaz o processamento usando aquele codigo. Nao estou muito certo se ira’ ser util realmente, mas no caso imagino um sistema sendo atualizado em varias maquinas, quero que cada maquina (ponto de processamento) tenha uma copia do aplicativo, assim quando um processo gerar um erro, essa demanda ira’ passar para a maquina a frente dela, ate’ chegar em uma maquina que o resultado seja positivo, dai sim retornando a quem quis o processo e caminhar dai para frente normalmente. Nao tenho nome para esse recurso. Mas se for bem implementado, daqui a algum tempo nao teriamos mais nos preocupar em atualizar tudo de uma vez ou ter as quedas de sistema sem usar slave. Deixarei esse recurso como unstable e nao ira’ para o core da pre-stable. Quero lancar uma nova stable quanto antes para me focar mais em outros produtos.
Estou bastante contente com a evolucao do SF. Temos varios novos recursos como download-key configurando a velocidade. Essa key permite que apenas o numero de pessoas possam usar aquela chave e quantos mb/s poderam abaixar. Quero melhorar o sistema de log do SF.
Alem de melhorar o sistema de log do SF, queria criar um recurso de quando subir um arquivo para o storage um sistema de “alerta”/msg qualquer no twitter, quero aplicar isso justamente para o UPA. Assim o pessoal que tiver cadastro no UPA podera’ “espalhar” seus arquivos com maior facilidade.
Estive revendo o backend do VCNews, quero colocar ele para frente. Temos varios recursos do projeto final ja’. Teriamos de terminar o processo de app e front-end. Que estao praticamente a 0% do desenvolvimento.
Escrevi alguns recursos novos para Universe, todos utilizando a Twitter’s API.
Busca de informacoes sobre o user pelo ID ou Screen Name (vamos chamar de nickname? Melhor ne’…). Retornando para o nosso Objeto:
Estou escrevendo agora no meu freetime um novo metodo para buscar informacoes dos amigos desse profile. Com isso estou lendo com cuidado as regras e licenses do Twitter para aplicacoes. Acho que cada Engine dele diferente vai ter que ter o proprio token de acesso e tudo mais. Veremos.
Alem disso a busca completa por “query/string” e tags esta’ pronta.
Quero melhorar ainda algumas coisas desses recursos de busca, colocando refinamento por data e o que tiver a mais e ja’ trazendo alguns recursos que podem melhorar o desenvolvimento de Engines.
Depois de construir grande parte do que eu imagino de um SaaS de controle de profile e seu uso pratico, sim estou falando do Uprofile, comecei a colocar ele a prova. Utilizando o projeto ShakeIt para isso.
O ShakeIt vai usar todos os recursos do Uprofile e alguns destaques que acho importantes para o projeto:
Mas o que eu realmente gostei foi trocar toda logica de cadastro, login, session, storage e log dos users do site por apenas uma chamada na API do Uprofile. Claro, como fui eu que fiz o Uprofile tive de fazer todas essas logicas, mas no proximo projeto nao terei mais de desenvolver nenhuma logica. Alem de fazer uma rede de usuarios entre os projetos. Isso me deixou super motivado a trazer mais recursos ao Uprofile. O que me fez pensar… Porque nao trazer outros servicos a Uprofile? Comecei a desenhar alguns recursos novos como manipulacao do Twitter e Status. Uma ponto muito bom porque nao terei de manipular mais um objeto no banco de dados, toda informacao ja’ e’ guardada no Twitter mesmo.
E quem ganhou com isso foi o Universe, que agora conta com API do Twitter, ainda em beta na minha opiniao tem de melhorar e existem ideas para criar ferramentas nela.
Bem agora tenho mais uma Todo List para esse .plan:
Powered by Twitter Tools.
Powered by Twitter Tools.
