Developeando

Robot que inicie sesión en sitios web usando VB .NET (II)

Fabián Rodríguez — Tue, 28 Aug 2012 16:20:07 +0000

En el tutorial anterior de creación de robots web que interactuen con sitios web se vio como rellenar campos de un formulario. Practicando un poco más, en este tutorial se verá como iniciar sesión en Facebook.com identificando ciertos atributos HTML de los campos.

Lo primero será reconocer todos los elementos HTML de la página, esto es posible hacerlo a través de una clase que guarda a manera de colección todos estos datos y es HTMLElementCollection.

Si revisamos el código fuente de Facebook.com, es decir, la ventana principal en donde se encuentra el login, cada campo, tanto el de usuario como el de contraseña tienen una estructura así:

Presentan bastante información como el atributo class, id, name y el value, y cualquiera de estos nos sirve para interactuar con los formulario. Veamos el código completo a implementar para llenar el formulario e iniciar sesión paso a paso:

Paso 1: Insertamos un control WebBrowser y lo nombramos “Browser“, luego declaramos la variable que contendrá todos los elementos HTML.

Dim elementos As HtmlElementCollection = Browser.Document.All

Paso 2: Debemos recorrer ahora todos esos elementos en busca de uno que coincida con nuestras especificaciones, creamos un For Each para eso y dentro de él, ubicaremos una variable llamada “elemento” que será de tipo HTMLElement y representará cualquier elemento HTML obtenido de recorrer la colección:

For Each elemento As HtmlElement In elementos
'Más código
Next

Paso 3: Con el For Each ya vamos a recorrer los elementos, pero necesitamos decirle al programa que elemento vamos a buscar y que atributos tiene ese elemento. Entonces, basados en el código fuente de Facebook usaremos el atributo name de los campos y para ello usaremos el método GetAttribute, luego, cambiaremos el value de dicho elemento con SetAttribute:

 If elemento.GetAttribute("name") = "email" Then
     elemento.SetAttribute("value", TxtUser.Text)
 End If
 
If elemento.GetAttribute("name") = "pass" Then
     elemento.SetAttribute("value", Txtpass.Text)
End If

Paso 4: Procesar el formulario. Una vez hemos llenado los campos, procedemos a dar click al botón de entrada o hacer la petición “submit”. Hay varios métodos, uno se trata de usar el número de formulario (empieza desde 0) y se invoca el miembro Submit:

Browser.Document.Forms(3).InvokeMember("submit")

Y el otro método hace uso específicamente del botón de Facebook que dice “Entrar” por lo tanto si leemos el códgio fuente vemos:

Puedo identificarlo tanto por su value como por el id, y usaría un código así que haría uso del miembro “Click”:

If elemento.GetAttribute("value") = "Entrar" Then
    elemento.InvokeMember("click")
End If

El código fuente completo de nuestra aplicación quedaría así:

Public Class Form1
 
    Private Sub Form1_Load(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles MyBase.Load
        Browser.Navigate("http://facebook.com")
    End Sub
 
    Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
        Dim elementos As HtmlElementCollection = Browser.Document.All
        For Each elemento As HtmlElement In elementos
            If elemento.GetAttribute("name") = "email" Then
                elemento.SetAttribute("value", TextBox1.Text)
            End If
            If elemento.GetAttribute("name") = "pass" Then
                elemento.SetAttribute("value", TextBox2.Text)
            End If
 
            If elemento.GetAttribute("value") = "Entrar" Then
                elemento.InvokeMember("click")
            End If
        Next
    End Sub
End Class

Descargar ficheros de ejemplo aquí.

En la próxima guía identificaremos mejor como se usa el GetAttribute y el SetAttribute.

Resolvedor automático de captcha con Antigate.com y VB .NET

Fabián Rodríguez — Mon, 27 Aug 2012 18:14:00 +0000

Que nuestras aplicaciones se integren con un resolvedor automático de captcha es imprescindible para automatizar ciertos procesos. Antigate.com, es un servicio que por $0.7USD resuelven 1000 captchas y el mínimo de compra son $10USD. Hoy veremos como integrar el api de este servicio a nuestra aplicación en Visual Basic .NET.

Cuando creamos una cuenta en este servicio y la cargamos con un monto mínimo en dólares, se nos entrega un API KEY que será la que integraremos con nuestro software. Cuando inicies sesión con tu cuenta podrás ver esta KEY en el menú recognition > Access Key.

El algoritmo a usar es el siguiente:

El software envía el CAPTCHA por el método seleccionado (HTTP POST en multipart / form-codificar o base64 codificado) y obtiene su ID.
Esperar 10 – 20 segundos (Tiempo promedio en el que los trabajadores de Antigate tardan en resolver el Captcha).
Se hace una petición al servicio y se identifica con su API KEY. Puede devolver texto adivinado o CAPCHA_NOT_READY.
Si recibe el código CAPCHA_NOT_READY esperar 5 segundos y repetir el paso número 3.
Si obtiene OK | SOME_TEXT_HERE entonces SOME_TEXT_HERE es el texto de su captcha.

Iniciamos ahora Visual Basic .NET y vamos a proyecto > Agregar clase y la nombramos como agapi. Allí insertamos todas estas funciones que no es necesario entenderlas ya que son las que proporciona el mismo API del sitio. Pero antes, hacemos los Imports:

Imports System.IO
Imports System.Collections.Specialized
Imports System.Threading
Imports System.Text
Imports System.Net
Imports System.Drawing.Imaging

Y dentro de la clase agapi si podemos insertar todas estas funciones:

Function GetCaptcha(ByVal UrlCaptcha As String, ByVal KeyC As String) As String
        Dim MyStr As MemoryStream = Bmp2JpgUrl(UrlCaptcha)
        Dim nvc As New NameValueCollection()
        Dim CID As String
        nvc.Add("method", "post")
        nvc.Add("key", KeyC)
        nvc.Add("file", "captcha.jpg")
        Dim Res As String = UploadFileStream("http://antigate.com/in.php", nvc, MyStr)
        Dim ResStr = "ERROR"
        Dim Sp(1) As String
        Sp(0) = "|"
        Dim Resp() As String = Res.Split(Sp, StringSplitOptions.RemoveEmptyEntries)
        If Resp.Length <> 2 Then
            Return ResStr
        End If
        If Resp(0) <> "OK" Then
            Return ResStr
        End If
 
        CID = Resp(1)
        Thread.Sleep(10000)
        ResStr = GetStatusCaptcha(CID, KeyC)
        Dim ip As String = 0
        While ResStr = "ERROR" And ip < 4
            Thread.Sleep(5000)
            ResStr = GetStatusCaptcha(CID, KeyC)
        End While
        Return ResStr
    End Function
 
 
 
    Function GetStatusCaptcha(ByVal CID As String, ByVal KeyC As String) As String
        Dim LoadU = "http://antigate.com/res.php?key=" & KeyC & "&action=get&id=" & CID
        Dim Req As HttpWebRequest = CType(WebRequest.Create(LoadU), HttpWebRequest)
        Req.Method = "GET"
        Req.UserAgent = "Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0)"
        Dim respreq As HttpWebResponse
        Dim receiveStream As Stream
        respreq = CType(Req.GetResponse(), HttpWebResponse)
        receiveStream = respreq.GetResponseStream()
        Dim StrRead As New StreamReader(receiveStream, Encoding.GetEncoding(1251))
        Dim Res As String = StrRead.ReadToEnd()
        Dim Sp(1) As String
        Sp(0) = "|"
        Dim ResStr = "ERROR"
        Dim Resp() As String = Res.Split(Sp, StringSplitOptions.RemoveEmptyEntries)
        If Resp.Length <> 2 Then
            Return ResStr
        End If
        If Resp(0) <> "OK" Then
            Return ResStr
        End If
        ResStr = Resp(1)
        Return ResStr
    End Function
 
 
    Function UploadFileStream(ByVal Url As String, ByVal nvc As NameValueCollection, ByVal FStream As Stream) As String
        Dim length As Long = 0
        Dim boundary As String = "----------------------------" & DateTime.Now.Ticks.ToString("x")
        Dim httpWebRequest2 As HttpWebRequest = CType(WebRequest.Create(Url), HttpWebRequest)
        httpWebRequest2.ContentType = "multipart/form-data; boundary=" + boundary
        httpWebRequest2.Method = "POST"
        httpWebRequest2.KeepAlive = True
        Dim memStream As New MemoryStream()
        Dim boundarybytes() As Byte = Encoding.ASCII.GetBytes(Chr(13) & Chr(10) & "--" & boundary & Chr(13) & Chr(10))
 
        Dim formdataTemplate As String = Chr(13) & Chr(10) & "--" & boundary & Chr(13) & Chr(10) & "Content-Disposition: form-data; name=""{0}"";" & Chr(13) & Chr(10) & Chr(13) & Chr(10) & "{1}"
 
        For Each key As String In nvc.Keys
            Dim formitem As String = String.Format(formdataTemplate, key, nvc(key))
            Dim formitembytes() As Byte = Encoding.GetEncoding(1251).GetBytes(formitem)
            memStream.Write(formitembytes, 0, formitembytes.Length)
        Next
 
        memStream.Write(boundarybytes, 0, boundarybytes.Length)
 
        Dim headerTemplate As String = "--" & boundary & Chr(13) & Chr(10) & "Content-Disposition: form-data; name=""file""; filename=""captcha.jpg""" & Chr(13) & Chr(10) & "Content-Type: image/pjpeg" & Chr(13) & Chr(10) & Chr(13) & Chr(10)
 
        Dim headerbytes() As Byte = System.Text.Encoding.GetEncoding(1251).GetBytes(headerTemplate)
 
        memStream.Write(headerbytes, 0, headerbytes.Length)
 
        FStream.Position = 0
        Dim buffer(FStream.Length) As Byte
        Dim bytesRead As Integer = 0
        bytesRead = FStream.Read(buffer, 0, buffer.Length)
        memStream.Write(buffer, 0, bytesRead)
        memStream.Write(boundarybytes, 0, boundarybytes.Length)
 
        httpWebRequest2.ContentLength = memStream.Length + 1
        Dim requestStream As Stream = httpWebRequest2.GetRequestStream()
        memStream.Position = 0
        Dim tempBuffer(memStream.Length) As Byte
        memStream.Read(tempBuffer, 0, tempBuffer.Length)
        memStream.Close()
        requestStream.Write(tempBuffer, 0, tempBuffer.Length)
        requestStream.Close()
        Dim webResponse2 As WebResponse = httpWebRequest2.GetResponse()
        Dim stream2 As Stream = webResponse2.GetResponseStream()
        Dim reader2 As New StreamReader(stream2, Encoding.GetEncoding(1251))
        Dim Res As String = reader2.ReadToEnd()
        webResponse2.Close()
        Return Res
    End Function
 
 
    Function Bmp2JpgUrl(ByVal LoadU As String) As Stream
        Dim Req As HttpWebRequest = CType(WebRequest.Create(LoadU), HttpWebRequest)
        Req.Method = "GET"
        Req.UserAgent = "Mozilla/4.0+(compatible;+MSIE+5.01;+Windows+NT+5.0)"
        Dim resp As HttpWebResponse = CType(Req.GetResponse(), HttpWebResponse)
        Dim receiveStream As Stream = resp.GetResponseStream()
        Dim Bmp As New Bitmap(receiveStream)
        Dim ResStream As New MemoryStream()
        Bmp.Save(ResStream, ImageFormat.Jpeg)
        Return ResStream
    End Function

Luego ya en el formulario lo siguiente será un botón y un picturebox para leer imagen, es solo un ejemplo, en donde la variable “imgurl” contiene la url completa de la imagen del captcha. Cuando se usa ReCaptcha por ejemplo, obtenemos una URL con un llave o código bastante extenso que representa a la imagen y es posible utilizarla.

Dim imgurl As String
imgurl = "http://localhost/catpcha.jpg"
Dim anticaptcha As New agapi
anticaptcha.GetCaptcha(imgurl, "Aquí tu API KEY de Antigate")
Dim txt As String
txt = anticaptcha.GetCaptcha(imgurl, "Aquí tu API KEY de Antigate")
TextBox1.Text = txt

En donde la variable de tipo string llamada “txt” es la que nos devuelve el valor de la cadena ya resuelta.

La cuestión en este tipo de software es que debemos identificar la imagen de cada tipo de captcha, podemos trabajar los elementos HTML de la página e identificarlos con su elemento ID para obtener la URL de la imagen y así pasarla como parámetro a las funciones del api de Antigate.

Crear robots que interactuen con webs usando VB .NET (I)

Fabián Rodríguez — Thu, 23 Aug 2012 03:31:18 +0000

Las finalidades que tiene el interactuar con una página web externa son bastantes y van en cada uno; ya sea extraer información o comunicarse con un servicio en la web son cosas que podemos hacer de varias formas en Visual Basic .NET.

Para esta tarea no usaremos CURL (existen implementaciones para muchos lenguajes) más bien haremos uso del elemento WebBroser que proporciona la plataforma y adicionalmente se va a interactuar con los elementos HTML de la página, tal y como si estuviéramos usando JavaScript.

Para hacer el ejemplo más entendible construiremos nuestro propio formulario en PHP y lo ejecutaremos de forma local. El código con el que trabajaremos será este:


if(isset($_POST['registrar'])) {
	$nombre = $_POST['nombre'];
	$pass = $_POST['pass'];
	echo "Nombre: ".$nombre."
";
	echo "Password:".$pass;
}
?>





	
		Ingresa tu nombre:

		

 
		Ingre la contraseña

El código lo que hace es capturar un nombre de usuario y una contraseña, y luego los muestra por pantalla. Un ejemplo muy simple pero servirá para nuestro propósito. Ahora, en Visual Basic .NET crearemos una interfaz como la siguiente agregando:

2 Labels.
2 textbox.
1 control WebBrowser.
1 botón.

La idea es que quede algo como esto:

Los controles textbox nos ayudarán a rellenar los dos campos del formulario en PHP que piden usuario y contraseña. Bien, para ello, en el evento Load cargaremos el fichero PHP y en el evento click de nuestro botón, las funciones que llenan automáticamente el formulario y lo procesan:

Public Class Form1
    Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
        WebBrowser1.Document.GetElementById("nombre").SetAttribute("value", TextBox1.Text)
        WebBrowser1.Document.GetElementById("pass").SetAttribute("value", TextBox2.Text)
        WebBrowser1.Document.GetElementById("registrar").InvokeMember("click")
    End Sub
 
    Private Sub Form1_Load(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles MyBase.Load
        WebBrowser1.Navigate("http://localhost/ejemplo.php")
    End Sub
End Class

Lo que hace el código, tal y como si estuviera trabajando con el DOM de JavaScript, es cargar la página en el navegador, luego, buscar a través de los elementos ID de nuestra página HTML y llenarlos con los campos que habíamos puesto en los textbox y por último a través del método SetAttribute cambiarle el valor, que es como se rellena el formulario.

Sin embargo, la última línea de código del evento click del botón no cambia ningún atributo, lo que hace es invocar a un miembro o evento predeterminado llamado “click” y con esto es como hace click (valga la redundancia) en el botón y la página procede a procesar los datos.

Descargar los ficheros de ejemplo.

Crear un menú horizontal con listas usando CSS

Fabián Rodríguez — Mon, 28 May 2012 03:31:46 +0000

La necesidad de crear menús horizontales se hace imprescindible a la hora de maquetar un sitio web, sobre todo si no se quieren utilizar tablas para ello. Y no es para menos, pues con las listas se puede maquetar fácilmente un menú y darle un estilo agradable con pocas líneas de código.

El truco está en la forma en el que se muestra cada item (elemento li) del menú, para ello hacemos uso de la propiedad de CSS “display”, quedando el código así:

li {display:inline;}

Y el código HTML sería algo tan simple como esto:


	Elemento 1
	Elemento 2
	Elemento 3
	Elemento 4

Gracias a esto, podemos hacer menús de un tono armonioso (para los que tienen una buena habilidad creativa) o hacer algo simple como el siguiente ejemplo (en donde también dejo el código fuente):

>
>
>
>Ejemplo de listas horizontales>