Added byte swapping code to the new MD5 checksumming code to make it work

on big-endian machines. (If someone thinks BitlBee should work on PDPs,
send me the fix. I don't care. :-P) This fixes bug #351 (MSN challenge-
response failure) but might break backward compatibility if the broken MD5
code was used to save settings. (Somewhere between rev 266 and now.)

1 files changed, 96 insertions, 69 deletions

diff --git a/lib/md5.c b/lib/md5.c
index f1779794..3c39eccd 100644
--- a/lib/md5.c
+++ b/lib/md5.c
@@ -34,6 +34,29 @@ static void md5_transform(uint32_t buf[4], uint32_t const in[16]);
  * 20021120
  */
 
+/* Turns out MD5 was designed for little-endian machines. If we're running
+   on a big-endian machines, we have to swap some bytes. Since detecting
+   endianness at compile time reliably seems pretty hard, let's do it at
+   run-time. It's not like we're going to checksum megabytes of data... */
+static uint32_t cvt32(uint32_t val)
+{
+	static int little_endian = -1;
+	
+	if (little_endian == -1)
+	{
+		little_endian = 1;
+		little_endian = *((char*) &little_endian);
+	}
+	
+	if (little_endian)
+		return val;
+	else
+		return (val >> 24) |
+		       ((val >> 8) & 0xff00) |
+		       ((val << 8) & 0xff0000) |
+		       (val << 24);
+}
+
 void md5_init(struct MD5Context *ctx)
 {
 	ctx->buf[0] = 0x67452301;
@@ -126,10 +149,14 @@ void md5_finish(struct MD5Context *ctx, md5_byte_t digest[16])
 	}
 
 	/* Append length in bits and transform */
-	((uint32_t *) ctx->in)[14] = ctx->bits[0];
-	((uint32_t *) ctx->in)[15] = ctx->bits[1];
+	((uint32_t *) ctx->in)[14] = cvt32(ctx->bits[0]);
+	((uint32_t *) ctx->in)[15] = cvt32(ctx->bits[1]);
 
 	md5_transform(ctx->buf, (uint32_t *) ctx->in);
+	ctx->buf[0] = cvt32(ctx->buf[0]);
+	ctx->buf[1] = cvt32(ctx->buf[1]);
+	ctx->buf[2] = cvt32(ctx->buf[2]);
+	ctx->buf[3] = cvt32(ctx->buf[3]);
 	memcpy(digest, ctx->buf, 16);
 	memset(ctx, 0, sizeof(ctx));	/* In case it's sensitive */
 }
@@ -160,73 +187,73 @@ static void md5_transform(uint32_t buf[4], uint32_t const in[16])
 	c = buf[2];
 	d = buf[3];
 
-	MD5STEP(F1, a, b, c, d, in[0] + 0xd76aa478, 7);
-	MD5STEP(F1, d, a, b, c, in[1] + 0xe8c7b756, 12);
-	MD5STEP(F1, c, d, a, b, in[2] + 0x242070db, 17);
-	MD5STEP(F1, b, c, d, a, in[3] + 0xc1bdceee, 22);
-	MD5STEP(F1, a, b, c, d, in[4] + 0xf57c0faf, 7);
-	MD5STEP(F1, d, a, b, c, in[5] + 0x4787c62a, 12);
-	MD5STEP(F1, c, d, a, b, in[6] + 0xa8304613, 17);
-	MD5STEP(F1, b, c, d, a, in[7] + 0xfd469501, 22);
-	MD5STEP(F1, a, b, c, d, in[8] + 0x698098d8, 7);
-	MD5STEP(F1, d, a, b, c, in[9] + 0x8b44f7af, 12);
-	MD5STEP(F1, c, d, a, b, in[10] + 0xffff5bb1, 17);
-	MD5STEP(F1, b, c, d, a, in[11] + 0x895cd7be, 22);
-	MD5STEP(F1, a, b, c, d, in[12] + 0x6b901122, 7);
-	MD5STEP(F1, d, a, b, c, in[13] + 0xfd987193, 12);
-	MD5STEP(F1, c, d, a, b, in[14] + 0xa679438e, 17);
-	MD5STEP(F1, b, c, d, a, in[15] + 0x49b40821, 22);
-
-	MD5STEP(F2, a, b, c, d, in[1] + 0xf61e2562, 5);
-	MD5STEP(F2, d, a, b, c, in[6] + 0xc040b340, 9);
-	MD5STEP(F2, c, d, a, b, in[11] + 0x265e5a51, 14);
-	MD5STEP(F2, b, c, d, a, in[0] + 0xe9b6c7aa, 20);
-	MD5STEP(F2, a, b, c, d, in[5] + 0xd62f105d, 5);
-	MD5STEP(F2, d, a, b, c, in[10] + 0x02441453, 9);
-	MD5STEP(F2, c, d, a, b, in[15] + 0xd8a1e681, 14);
-	MD5STEP(F2, b, c, d, a, in[4] + 0xe7d3fbc8, 20);
-	MD5STEP(F2, a, b, c, d, in[9] + 0x21e1cde6, 5);
-	MD5STEP(F2, d, a, b, c, in[14] + 0xc33707d6, 9);
-	MD5STEP(F2, c, d, a, b, in[3] + 0xf4d50d87, 14);
-	MD5STEP(F2, b, c, d, a, in[8] + 0x455a14ed, 20);
-	MD5STEP(F2, a, b, c, d, in[13] + 0xa9e3e905, 5);
-	MD5STEP(F2, d, a, b, c, in[2] + 0xfcefa3f8, 9);
-	MD5STEP(F2, c, d, a, b, in[7] + 0x676f02d9, 14);
-	MD5STEP(F2, b, c, d, a, in[12] + 0x8d2a4c8a, 20);
-
-	MD5STEP(F3, a, b, c, d, in[5] + 0xfffa3942, 4);
-	MD5STEP(F3, d, a, b, c, in[8] + 0x8771f681, 11);
-	MD5STEP(F3, c, d, a, b, in[11] + 0x6d9d6122, 16);
-	MD5STEP(F3, b, c, d, a, in[14] + 0xfde5380c, 23);
-	MD5STEP(F3, a, b, c, d, in[1] + 0xa4beea44, 4);
-	MD5STEP(F3, d, a, b, c, in[4] + 0x4bdecfa9, 11);
-	MD5STEP(F3, c, d, a, b, in[7] + 0xf6bb4b60, 16);
-	MD5STEP(F3, b, c, d, a, in[10] + 0xbebfbc70, 23);
-	MD5STEP(F3, a, b, c, d, in[13] + 0x289b7ec6, 4);
-	MD5STEP(F3, d, a, b, c, in[0] + 0xeaa127fa, 11);
-	MD5STEP(F3, c, d, a, b, in[3] + 0xd4ef3085, 16);
-	MD5STEP(F3, b, c, d, a, in[6] + 0x04881d05, 23);
-	MD5STEP(F3, a, b, c, d, in[9] + 0xd9d4d039, 4);
-	MD5STEP(F3, d, a, b, c, in[12] + 0xe6db99e5, 11);
-	MD5STEP(F3, c, d, a, b, in[15] + 0x1fa27cf8, 16);
-	MD5STEP(F3, b, c, d, a, in[2] + 0xc4ac5665, 23);
-
-	MD5STEP(F4, a, b, c, d, in[0] + 0xf4292244, 6);
-	MD5STEP(F4, d, a, b, c, in[7] + 0x432aff97, 10);
-	MD5STEP(F4, c, d, a, b, in[14] + 0xab9423a7, 15);
-	MD5STEP(F4, b, c, d, a, in[5] + 0xfc93a039, 21);
-	MD5STEP(F4, a, b, c, d, in[12] + 0x655b59c3, 6);
-	MD5STEP(F4, d, a, b, c, in[3] + 0x8f0ccc92, 10);
-	MD5STEP(F4, c, d, a, b, in[10] + 0xffeff47d, 15);
-	MD5STEP(F4, b, c, d, a, in[1] + 0x85845dd1, 21);
-	MD5STEP(F4, a, b, c, d, in[8] + 0x6fa87e4f, 6);
-	MD5STEP(F4, d, a, b, c, in[15] + 0xfe2ce6e0, 10);
-	MD5STEP(F4, c, d, a, b, in[6] + 0xa3014314, 15);
-	MD5STEP(F4, b, c, d, a, in[13] + 0x4e0811a1, 21);
-	MD5STEP(F4, a, b, c, d, in[4] + 0xf7537e82, 6);
-	MD5STEP(F4, d, a, b, c, in[11] + 0xbd3af235, 10);
-	MD5STEP(F4, c, d, a, b, in[2] + 0x2ad7d2bb, 15);
-	MD5STEP(F4, b, c, d, a, in[9] + 0xeb86d391, 21);
+	MD5STEP(F1, a, b, c, d, cvt32(in[0]) + 0xd76aa478, 7);
+	MD5STEP(F1, d, a, b, c, cvt32(in[1]) + 0xe8c7b756, 12);
+	MD5STEP(F1, c, d, a, b, cvt32(in[2]) + 0x242070db, 17);
+	MD5STEP(F1, b, c, d, a, cvt32(in[3]) + 0xc1bdceee, 22);
+	MD5STEP(F1, a, b, c, d, cvt32(in[4]) + 0xf57c0faf, 7);
+	MD5STEP(F1, d, a, b, c, cvt32(in[5]) + 0x4787c62a, 12);
+	MD5STEP(F1, c, d, a, b, cvt32(in[6]) + 0xa8304613, 17);
+	MD5STEP(F1, b, c, d, a, cvt32(in[7]) + 0xfd469501, 22);
+	MD5STEP(F1, a, b, c, d, cvt32(in[8]) + 0x698098d8, 7);
+	MD5STEP(F1, d, a, b, c, cvt32(in[9]) + 0x8b44f7af, 12);
+	MD5STEP(F1, c, d, a, b, cvt32(in[10]) + 0xffff5bb1, 17);
+	MD5STEP(F1, b, c, d, a, cvt32(in[11]) + 0x895cd7be, 22);
+	MD5STEP(F1, a, b, c, d, cvt32(in[12]) + 0x6b901122, 7);
+	MD5STEP(F1, d, a, b, c, cvt32(in[13]) + 0xfd987193, 12);
+	MD5STEP(F1, c, d, a, b, cvt32(in[14]) + 0xa679438e, 17);
+	MD5STEP(F1, b, c, d, a, cvt32(in[15]) + 0x49b40821, 22);
+
+	MD5STEP(F2, a, b, c, d, cvt32(in[1]) + 0xf61e2562, 5);
+	MD5STEP(F2, d, a, b, c, cvt32(in[6]) + 0xc040b340, 9);
+	MD5STEP(F2, c, d, a, b, cvt32(in[11]) + 0x265e5a51, 14);
+	MD5STEP(F2, b, c, d, a, cvt32(in[0]) + 0xe9b6c7aa, 20);
+	MD5STEP(F2, a, b, c, d, cvt32(in[5]) + 0xd62f105d, 5);
+	MD5STEP(F2, d, a, b, c, cvt32(in[10]) + 0x02441453, 9);
+	MD5STEP(F2, c, d, a, b, cvt32(in[15]) + 0xd8a1e681, 14);
+	MD5STEP(F2, b, c, d, a, cvt32(in[4]) + 0xe7d3fbc8, 20);
+	MD5STEP(F2, a, b, c, d, cvt32(in[9]) + 0x21e1cde6, 5);
+	MD5STEP(F2, d, a, b, c, cvt32(in[14]) + 0xc33707d6, 9);
+	MD5STEP(F2, c, d, a, b, cvt32(in[3]) + 0xf4d50d87, 14);
+	MD5STEP(F2, b, c, d, a, cvt32(in[8]) + 0x455a14ed, 20);
+	MD5STEP(F2, a, b, c, d, cvt32(in[13]) + 0xa9e3e905, 5);
+	MD5STEP(F2, d, a, b, c, cvt32(in[2]) + 0xfcefa3f8, 9);
+	MD5STEP(F2, c, d, a, b, cvt32(in[7]) + 0x676f02d9, 14);
+	MD5STEP(F2, b, c, d, a, cvt32(in[12]) + 0x8d2a4c8a, 20);
+
+	MD5STEP(F3, a, b, c, d, cvt32(in[5]) + 0xfffa3942, 4);
+	MD5STEP(F3, d, a, b, c, cvt32(in[8]) + 0x8771f681, 11);
+	MD5STEP(F3, c, d, a, b, cvt32(in[11]) + 0x6d9d6122, 16);
+	MD5STEP(F3, b, c, d, a, cvt32(in[14]) + 0xfde5380c, 23);
+	MD5STEP(F3, a, b, c, d, cvt32(in[1]) + 0xa4beea44, 4);
+	MD5STEP(F3, d, a, b, c, cvt32(in[4]) + 0x4bdecfa9, 11);
+	MD5STEP(F3, c, d, a, b, cvt32(in[7]) + 0xf6bb4b60, 16);
+	MD5STEP(F3, b, c, d, a, cvt32(in[10]) + 0xbebfbc70, 23);
+	MD5STEP(F3, a, b, c, d, cvt32(in[13]) + 0x289b7ec6, 4);
+	MD5STEP(F3, d, a, b, c, cvt32(in[0]) + 0xeaa127fa, 11);
+	MD5STEP(F3, c, d, a, b, cvt32(in[3]) + 0xd4ef3085, 16);
+	MD5STEP(F3, b, c, d, a, cvt32(in[6]) + 0x04881d05, 23);
+	MD5STEP(F3, a, b, c, d, cvt32(in[9]) + 0xd9d4d039, 4);
+	MD5STEP(F3, d, a, b, c, cvt32(in[12]) + 0xe6db99e5, 11);
+	MD5STEP(F3, c, d, a, b, cvt32(in[15]) + 0x1fa27cf8, 16);
+	MD5STEP(F3, b, c, d, a, cvt32(in[2]) + 0xc4ac5665, 23);
+
+	MD5STEP(F4, a, b, c, d, cvt32(in[0]) + 0xf4292244, 6);
+	MD5STEP(F4, d, a, b, c, cvt32(in[7]) + 0x432aff97, 10);
+	MD5STEP(F4, c, d, a, b, cvt32(in[14]) + 0xab9423a7, 15);
+	MD5STEP(F4, b, c, d, a, cvt32(in[5]) + 0xfc93a039, 21);
+	MD5STEP(F4, a, b, c, d, cvt32(in[12]) + 0x655b59c3, 6);
+	MD5STEP(F4, d, a, b, c, cvt32(in[3]) + 0x8f0ccc92, 10);
+	MD5STEP(F4, c, d, a, b, cvt32(in[10]) + 0xffeff47d, 15);
+	MD5STEP(F4, b, c, d, a, cvt32(in[1]) + 0x85845dd1, 21);
+	MD5STEP(F4, a, b, c, d, cvt32(in[8]) + 0x6fa87e4f, 6);
+	MD5STEP(F4, d, a, b, c, cvt32(in[15]) + 0xfe2ce6e0, 10);
+	MD5STEP(F4, c, d, a, b, cvt32(in[6]) + 0xa3014314, 15);
+	MD5STEP(F4, b, c, d, a, cvt32(in[13]) + 0x4e0811a1, 21);
+	MD5STEP(F4, a, b, c, d, cvt32(in[4]) + 0xf7537e82, 6);
+	MD5STEP(F4, d, a, b, c, cvt32(in[11]) + 0xbd3af235, 10);
+	MD5STEP(F4, c, d, a, b, cvt32(in[2]) + 0x2ad7d2bb, 15);
+	MD5STEP(F4, b, c, d, a, cvt32(in[9]) + 0xeb86d391, 21);
 
 	buf[0] += a;
 	buf[1] += b;